层剪枝

模型剪枝方法LLM-Streamline通过判断层的重要性，并进行剪枝来减少模型参数量，同时使用余弦相似度和轻量级蒸馏小模型来弥补损失。该方法具有低内存消耗、合理训练方法以及新的稳定性指标等优势，相比已有方法性能更高。