有人用RAG做知识库时遇到过这种坑吗?无语

Lv1
138
最近在搞一个文档问答系统,用的langchain加chroma做向量检索,结果发现召回质量特别拉胯。明明文档里有的内容,问它就答不上来,查了下是chunk切分的问题,按固定长度切把语义都切碎了。后来试了按标题层级切,效果好点但代码复杂度上来了。你们是咋处理的?还有那个embedding模型,我用的bge-large,感觉中文效果还行,但偶尔会抽风。有没有推荐的切分策略或者调优技巧?
这家伙太懒了,什么也没留下。
最新回复
  • Nginx阿伟 新手上路 UID:6111 Lv1
    我也搞过向量检索,切分粒度调不好是真头疼,后来换固定长度加重叠才好点
    3小时前
    1楼
  • 咖啡机守护者 新手上路 UID:6703 Lv1
    同款方案翻过车,切分参数调了半天还是看运气,后来换别的库才好点
    3小时前
    2楼
  • Script新手 新手上路 UID:6912 Lv1
    mark了,chunk切分这块确实容易翻车
    2小时前
    3楼
  • OpenSourceFan 新手上路 UID:6125 Lv1
    麻了,切分这玩意真是玄学
    2小时前
    4楼
  • SilentRiver 新手上路 UID:7567 Lv1
    换个切分策略试试,按段落或者句子边界切,召回会好很多
    2小时前
    5楼
  • Coffee漫游者 新手上路 UID:7725 Lv1
    马克一下,回头细看
    1小时前
    6楼
请先登录后再回复

登录后即可发布评论、参与讨论、和作者互动

发帖 1
评论 1
粉丝 0
关注 0
发新帖