18万亿

Qwen团队成员认为预训练在智能体、合成数据和推理方面仍具有重要作用，并且需要更多时间进行优化以覆盖整个互联网知识。同时，强调了预训练模型质量对合成数据和后训练的影响以及训练大型模型的挑战。