RAG 文档切片策略
很多 RAG 项目效果不好,并不是模型的问题,而是文档切片策略有问题。
常见切片方式
- 固定字符长度
- 固定 Token 长度
- 按 Markdown 标题
- 按自然段
- 语义切片
Chunk Size
Chunk 太小会丢失上下文,太大则会降低检索精度。
实际项目中通常需要结合文档类型进行测试,而不是使用一个固定参数解决所有问题。
赞赏支持
如果这些经验帮你少走了弯路, 欢迎请我喝杯咖啡补充脑力。☕
文章已读完,感谢你的耐心阅读 🙏
评论交流
认真讨论,友善表达
0/1000
还没有评论
成为第一个参与讨论的人。
全部评论