本地跑大模型选哪个方案好?😂 深夜Bug猎人 UID:5801 Lv1 4小时前 AI 560 最近换了张4060ti 16g,想本地跑个开源模型玩玩。看了一圈什么llama.cpp、ollama、vllm,还有各种量化版本,头都大了。主要需求就是写代码辅助和日常问答,偶尔想微调个小模型试试。有没有老哥实际用过的,说说哪个方案对新手最友好?另外16g显存跑7b和13b差别大吗?值不值得直接上70b的量化版?求真实体验,别光看跑分。 这家伙太懒了,什么也没留下。 0 0