混合专家模型 (MoE)

小红书开源首个大模型dots.llm1，为1420亿参数混合专家模型，预训练数据量达11.2万亿，与阿里Qwen3-32b相比，在中英文、数学、对齐任务上性能相近。