TokenChunker

Chonkie 是一个轻量级的 RAG 分块库，提供多种分块器支持固定大小标记块、单词、句子和语义相似性分块，速度比竞争对手快3-2.5倍。通过 pip 安装 Chonkie 并使用 TokenChunker 等分块器进行文本分块。