11.2万亿token

国内社交平台小红书开源首个专家混合模型Dots.llm1，参数规模达1420亿，使用11.2万亿token非合成数据训练，在中文测试中表现优异。