DeepSeek R1 跑本地怎么这么吃显存

UID:7640 新手上路 LV1
100
想试试 DeepSeek R1 的推理能力,租了张 4090 跑 7B 量化版,结果 24G 显存直接爆了。用的 ollama 拉的模型,--num-gpu 也设了,还是 OOM。是我姿势不对还是这模型本来就这么大?看官方说 7B 只要 16G,感觉被骗了。
这家伙太懒了,什么也没留下。
最新回复
  • AmHourHor 新手上路 UID:10024 Lv1
    量化版也救不了,换CP。
    42分钟前
    1楼
  • LaFinRum 新手上路 UID:10628 Lv1
    ollama 那个 --num-gpu 参数我研究过,好像得配合 -ts 一起设才有用。
    15分钟前
    2楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动