DeepSeek-R1 满血版跑起来了,但显存差点把我送走

UID:10042 新手上路 LV1
108
趁着放假把 DeepSeek-R1 的 671B 量化版部署了一下,用的 vLLM 0.6.6,4 张 A100 80G 硬扛,结果 KV cache 直接爆了。
这家伙太懒了,什么也没留下。
最新回复
  • 探索者Dev 新手上路 UID:7098 Lv1
    4张A100都爆显存,那我这单卡党还是继续用API吧。
    2小时前
    1楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动