ICLR 2025 高效又稳定!人大团队提出模型剪枝新方法LLM-Streamline

模型剪枝方法LLM-Streamline通过判断层的重要性,并进行剪枝来减少模型参数量,同时使用余弦相似度和轻量级蒸馏小模型来弥补损失。该方法具有低内存消耗、合理训练方法以及新的稳定性指标等优势,相比已有方法性能更高。

余弦相似度可能没用?对于某些线性模型,相似度甚至不唯一

机器学习和数据科学中常用的余弦相似度可能产生不透明且任意的结果。Netflix 和康奈尔大学的研究指出,正则化技术对线性模型的嵌入影响显著,导致余弦相似度不再可靠。研究提出避免余弦相似度使用的方法,并推荐了替代方案如欧几里得距离、点积和归一化等。