32K

中等规模的dots.llm1模型在仅使用11.2万亿高质量真实数据的情况下达到与Qwen2.5-72B相当的性能水平，上下文长度达32K，参数量为140亿（14B）和1420亿（142B），并提供预训练中间检查点。