参数量

文章介绍了Gemma-3和DeepSeek V3在参数量上的对比，并指出模型效果不仅仅取决于参数大小。通过详细解释Dense和MoE架构的区别及其实际应用效果，强调了参数数量并不能直接反映模型性能优劣的观点。同时讨论了知识蒸馏技术如何让小模型继承大模型的能力，而不仅仅是关注模型的规模大小。