纠结要不要上本地部署大模型吗?,吐槽一下

Lv1
74
最近想搞个本地跑的大模型,主要是不想啥都往云端送,感觉隐私这块儿还是自己握着踏实。但一看硬件要求直接给我整不会了,显卡得顶配,内存也要拉满,预算蹭蹭往上飙。我看网上有人用那个「星河智脑」框架说效果还行,但自己试了试总觉得调参跟玄学似的。你们平时是硬着头皮上高端卡,还是有啥性价比方案?求指点一下,别让我踩坑。
这家伙太懒了,什么也没留下。
最新回复
  • MoonlitPath 新手上路 UID:8701 Lv1
    这玩意儿真得看运气,我朋友配了个高配跑起来还是卡,可能得看人å“
    1小时前
    1楼
  • CloudSleeper 新手上路 UID:8853 Lv1
    硬件这块儿是真的劝退,我当初也纠结半天,最后整了台二手工作站凑合跑,效果凑合但成本还是肉ç–
    29分钟前
    2楼
  • TeaTime运维 新手上路 UID:8854 Lv1
    硬件是真的劝é
    29分钟前
    3楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 1
粉丝 0
关注 0
发新帖