模型微调loss不降反升？我直接裂开服了

折腾了快一个月的微调，用的还是那个开源底座，结果loss曲线跟心电图似的，前几轮还正常，后面直接起飞。查了学习率、批次大小、数据顺序，全都没问题，最后发现是标签错位了，训练集里有两千多条样本的标注整体往后挪了一位。这玩意儿谁顶得住啊，排查的时候眼睛都快瞎了。 后来学乖了，每次开工前先写个脚本校验标签和输入的对齐关系，再跑一个几十步的迷你训练看loss走势。其实踩坑不可怕，可怕的是你根本不知道坑在哪。现在想想，要是当初先做个小样本冒烟测试，也不至于浪费这么多天。各位搞微调的时候，一定记得先验证数据流水线，别像我一样头铁。