ICLR 2025 高效又稳定!人大团队提出模型剪枝新方法LLM-Streamline
模型剪枝方法LLM-Streamline通过判断层的重要性,并进行剪枝来减少模型参数量,同时使用余弦相似度和轻量级蒸馏小模型来弥补损失。该方法具有低内存消耗、合理训练方法以及新的稳定性指标等优势,相比已有方法性能更高。
模型剪枝方法LLM-Streamline通过判断层的重要性,并进行剪枝来减少模型参数量,同时使用余弦相似度和轻量级蒸馏小模型来弥补损失。该方法具有低内存消耗、合理训练方法以及新的稳定性指标等优势,相比已有方法性能更高。
机器学习和数据科学中常用的余弦相似度可能产生不透明且任意的结果。Netflix 和康奈尔大学的研究指出,正则化技术对线性模型的嵌入影响显著,导致余弦相似度不再可靠。研究提出避免余弦相似度使用的方法,并推荐了替代方案如欧几里得距离、点积和归一化等。
最近研究RAG后思考了嵌入与向量在大模型中的作用;嵌入解决数据向量化问题,向量则描述数据间关系;前者本质上是映射到高维矩阵中以捕捉语义关系,而后者则是数学概念中表示有方向和大小的量。