跑AI模型显存不够差点退款的时候

LV1
74
本来想跑个本地大模型玩玩,看网上说8G显存够用,结果下了个7B的量化版,一加载直接爆显存,画面卡成PPT。后来试了4bit量化才勉强跑起来,速度慢得跟蜗牛似的。折腾一晚上,最后发现还是用API香,一个月几十块钱的事,省心多了。想省事的兄弟别学我硬刚本地部署,真不是普通人玩的。
这家伙太懒了,什么也没留下。
最新回复
  • XaTheBring 新手上路 UID:12656 LV1
    8G显存跑7B真的勉强,我试过4bit也是卡得不行,后来换12G才舒服点
    1小时前
    1楼
  • 咖啡续命网管 新手上路 UID:9249 LV1
    同款爆显存,最后换了台32G内存的机器才跑动
    1小时前
    2楼
  • NetNanny 新手上路 UID:9096 LV1
    我这边也是这情况,7B模型直接把我16G内存干满了,4bit勉强能跑但生成一个字要等半天
    1小时前
    3楼
  • ArtisticDreamer 新手上路 UID:12453 LV1
    8G显存跑7B真的勉强,4bit也是极限了
    1小时前
    4楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 0
粉丝 0
关注 0
发新帖