大模型Transformer架构之编码器(Encoder)和解码器(Decoder)
Transformer的编码器负责将人类可识别的数据转换为大模型可以处理的形式，并进行特征提取；解码器则用于重建模式，生成新的数据。其架构包括自注意力机制等多重数据处理步骤。
AI探索时代
大模型的嵌入——Embedding与向量——Ve ctor
最近研究RAG后思考了嵌入与向量在大模型中的作用；嵌入解决数据向量化问题，向量则描述数据间关系；前者本质上是映射到高维矩阵中以捕捉语义关系，而后者则是数学概念中表示有方向和大小的量。
怎么提升向量数据库的召回准确率
如何优化向量数据库的召回准确率是关键问题之一，主要从提高向量质量、改进索引结构、优化距离度量、改进查询策略、数据增强与处理、通过反馈机制优化以及多模态融合等方面着手解决。
大模型检索增强生成之向量数据库的问题
向量数据库通过向量化和相似度计算实现高效的数据检索。它主要应用于人工智能领域，并在推荐系统、图像识别等方面发挥作用。相比传统数据库，向量数据库擅长处理非结构化数据的语义相关性，其核心在于对不同模态数据进行向量化处理以及利用相似度计算算法来优化搜索性能和结果准确性。
影响RAG检索效果的原因有那些？
RAG系统中检索环节存在问题包括数据质量问题、向量化表示、检索方法与算法等多方面因素，文章提出优化建议以提升其性能，如使用高质量嵌入模型、定期更新数据库及调整相似度度量参数等。
再谈大模型长文本分块，以及分块在RAG中的作用？
文本分块技术用于解决长文本处理中的上下文窗口限制问题。在大模型中采用类似阅读厚书的方法进行分块，使用chunk_overlap参数确保相关性。但在向量数据库中检索时，如何保证语义相关性的高效检索成为新挑战。
