RAG 文档切片策略

很多 RAG 项目效果不好,并不是模型的问题,而是文档切片策略有问题。

常见切片方式

  • 固定字符长度
  • 固定 Token 长度
  • 按 Markdown 标题
  • 按自然段
  • 语义切片

Chunk Size

Chunk 太小会丢失上下文,太大则会降低检索精度。

实际项目中通常需要结合文档类型进行测试,而不是使用一个固定参数解决所有问题。

文章已读完,感谢你的耐心阅读 🙏

评论交流

认真讨论,友善表达

0 条评论
0/1000

全部评论

还没有评论

成为第一个参与讨论的人。