再谈大模型长文本分块,以及分块在RAG中的作用? 下午2时 2024/12/19 作者 AI探索时代 文本分块技术用于解决长文本处理中的上下文窗口限制问题。在大模型中采用类似阅读厚书的方法进行分块,使用chunk_overlap参数确保相关性。但在向量数据库中检索时,如何保证语义相关性的高效检索成为新挑战。