这种事，12g卡跑7b量化直接爆，offload到内存那速度真是折磨人。后来试了混合推理，稍微好点但也没多流畅，凑合能用