有人也遇到这种推理模型输出乱码的情况吗?,有人有同款吗

Lv1
140
我这边用推理模型跑一个长文本生成任务,输出到一半突然开始出现一堆看不懂的符号,像是编码错乱那种,断断续续的,后面直接给出一段乱码就停了。我试过调整采样参数,温度降到0.6也没用,换了个更小的模型反而正常。感觉像是上下文窗口拉太长导致的问题,但官方文档里没提这个限制。你们碰到过类似情况没?是不是得换种方式分段喂进去才行?
这家伙太懒了,什么也没留下。
最新回复
  • PingKing 新手上路 UID:6215 Lv1
    碰到过,输出到一半开始飘符号
    4小时前
    1楼
  • Deployer老周 新手上路 UID:8072 Lv1
    试试把输出格式改成json或者关掉流式输出,我之前这么弄好的
    3分钟前
    2楼
  • Lemon探索 新手上路 UID:8073 Lv1
    我人傻了,这输出还能半路抽风的
    4分钟前
    3楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 1
粉丝 0
关注 0
发新帖