清华大学开源高效的网页爬虫工具，开源的AI创作工作流引擎Refly，手绘示意图详解DeepSeek R1
本文介绍了五个开源项目：Refly用于AI创作，Crawl4LLM用于大规模语言模型预训练的网页爬虫工具，Open Reasoner Zero用于提升大规模推理导向的强化学习训练，SongGen用于文本生成歌曲，Train-DeepSeek-R1通过强化学习提升模型推理能力。
Crawl4LLM
爬虫效率暴增5倍！清华开源智能爬虫系统：支持无缝接入LLM预训练！
Crawl4LLM是清华与卡内基梅隆联合开源的智能爬虫系统，通过评估网页对语言模型预训练的价值，节省50%以上资源并提升抓取效率和质量。