破解合规难题，AI高质量数据集建设正当时

大力出奇迹造就了预训练大模型的成功。这里的大力除了把模型参数量调大外，更为重要的是用于训练它们的大量和高质量的数据。

阿里开源的 Qwen2.5 系列的训练数据规模达到 18 万亿 token，是目前开源模型中训练数据量最大的之一。DeepSeek-V3 的训练数据规模为 14.8 万亿 token，GPT-4 的训练数据规模约为 13 万亿 token，此外，OpenAI 还使用了来自 ScaleAI 和内部标注的 数百万行指令微调数据 来优化模型性能。

图1. 来源于DataFunTalk

但最大的问题是基于开源数据的训练无法避免幻象问题的产生，因此RAG技术显得更为重要，各行各业专有知识数据的价值飙升，而工业场景应用也从模型为中心转变到以数据为中心。这预示着针对企业专有知识数据的采集、标注、训练将成为生产经营的刚需。随着AI大模型普及，企业专有数据价值凸显。