跑AI模型显存不够差点退款的时候 ClNetRange UID:12330 LV1 3小时前 AI 77 本来想跑个本地大模型玩玩,看网上说8G显存够用,结果下了个7B的量化版,一加载直接爆显存,画面卡成PPT。后来试了4bit量化才勉强跑起来,速度慢得跟蜗牛似的。折腾一晚上,最后发现还是用API香,一个月几十块钱的事,省心多了。想省事的兄弟别学我硬刚本地部署,真不是普通人玩的。 这家伙太懒了,什么也没留下。 0 0