微调大模型显存爆了咋整居然

跑了个7B的lora微调，batch size设4直接OOM，降到1还是不行。用的qlora，4bit量化了也扛不住。显卡是24G的，按理说应该够啊。是不是我哪里设置有问题？gradient checkpointing开了，序列长度512，应该不算长。有人遇到过类似情况吗？除了换更大显存，还有啥招能省显存？比如offload到CPU或者用deepspeed的zero stage？想听听实际跑过的老哥说说经验，别光理论。