一款专为程序员打造的文档爬取和处理工具：DevDocs，开源了！

作者

项目简介

开发者经常需要查看技术文档，这不仅是一项既耗时又繁琐的工作。  为了解决这个痛点，一款专为程序员打造的文档爬取和处理工具：DevDocs，开源了！  它能够自动爬取、提取并组织技术文档，将以往需要花数周理解文档的时间缩短至几个小时，极大提升我们的开发效率。完美适用于：

🏢 企业软件开发者

跳过阅读文档和解决技术债务的数周时间。通过让 DevDocs 处理文档理解的繁重工作，更快地实现任何技术。


🕸️ 网络爬虫


使用智能发现子 URL 至第 5 级，拉取整个网站内容。非常适合内部和外部网站文档的智能抓取。


👥 开发团队

利用内置的 MCP 服务器和 Claude 集成进行智能数据查询，利用内部文档。将团队的知识库转化为可操作的资源。


🚀独立黑客

DevDocs + VSCode(cline) + 你的想法 = 使用任何技术快速发布产品。在构建下一个大项目时，不再陷入文档地狱。


✨ 特点

 🧠 智能抓取

  • 智能深度控制：从 1-5 级选择抓取深度
  • 自动链接发现：查找并分类所有相关内容
  • 选择性抓取：精确提取所需内容
  • 子 URL 检测：自动发现并映射网站结构


⚡ 性能与速度

  • 并行处理：同时抓取多个页面
  • 智能缓存：避免浪费在重复内容上的时间
  • 懒加载支持：轻松处理现代 Web 应用
  • 速率限制：尊重服务器负载的抓取方式


 🎯 内容处理

  • 清洁提取：获取无杂质的文本内容
  • 多种格式：导出为 MD 或 JSON 以供LLM微调
  • 结构化输出：逻辑组织的内容
  • MCP 服务器集成：准备进行 AI 处理


🛡️ 企业功能

  • 错误恢复：失败时自动重试
  • 完整日志：跟踪每个操作
  • API 访问：与您的工具集成
  • 团队管理：多个座位和角色


🤔为什么选择 DevDocs？

问题所在


文档无处不在，LLMs 的知识已经过时。即使是资深工程师，阅读、理解并实施它也需要花费数周的研究和开发时间。我们将其时间缩短到数小时。


我们的解决方案

DevDocs 将文档带到您身边。指向任何技术文档 URL，然后观察它：

  1. 发现与该技术相关的所有页面
  2. 提取有意义的内容，去除冗余
  3. 在 MCP 服务器中逻辑组织信息，随时供您查询
  4. 以干净、可搜索的格式在 MD 或 JSON 中呈现，用于微调 LLM 目的

🔥 我们希望世界上任何人都能够快速地使用最前沿的 LLM 技术来构建令人惊叹的产品。




项目链接

https://github.com/cyberagiinc/DevDocs

扫码加入技术交流群，备注「开发语言-城市-昵称」

（文：GitHubStore）

发表评论