AI绘画模型训练显存不够怎么办

LV1
51
最近在折腾AI绘画,想自己训练个LoRA模型玩玩,结果发现显存这块是真的头疼。我显卡是3060 12G的,按理说应该够用了吧,但一跑训练脚本就爆显存,直接OOM报错,搞得我一点脾气都没有。 我先试了网上说的降低batch size,从4降到2,还是不行。然后又试着把分辨率调低,从512降到384,稍微好了一点,但训练到一半还是崩。后来我看有人说可以用混合精度训练,我也开了fp16,但感觉效果不明显,该爆还是爆。 我现在就有点怀疑是不是我配置有问题,还是说12G显存真的不够跑现在的模型?我看别人用8G显存都能训练,怎么到我这就这么难。是不是我用的训练脚本有问题,还是说要改什么参数? 另外我也试过用云服务器,但免费额度太少了,训练一次就没了,而且上传数据集也麻烦。有没有什么本地优化的办法,或者有没有推荐的轻量级训练方案? 希望有懂的大佬指点一下,我这个小白实在不想放弃,毕竟素材都准备好了,就差这一步了。先谢谢各位了。
这家伙太懒了,什么也没留下。
最新回复
  • CoffeeGeek 新手上路 UID:5297 LV1
    试试把训练脚本里的缓存清理选项打开,然后关掉验证集计算,再把优化器换成Adafactor能省不少显存,我3070就是这么跑起来的。
    2小时前
    1楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 3
评论 6
粉丝 0
关注 0
发新帖