清华团队开源“赤兔Chitu”大模型推理引擎–推理成本降一半，性能翻番，GOOGLE快速深度研究报告生成工具

作者

关注我，记得标星⭐️不迷路哦～


✨ 1: Chitu

Chitu是一个高性能大语言模型推理框架，注重效率、灵活性和可用性，支持DeepSeek、LLaMA等模型。

清华大学高性能计算研究所翟季冬教授团队与清程极智联合开源了一款名为“赤兔Chitu”的高性能大模型推理引擎。该引擎的核心突破在于首次实现了在非英伟达Hopper架构GPU及各类国产AI芯片上原生运行FP8精度模型，旨在解决国产AI芯片在大模型部署方面受限于硬件的难题，降低部署成本，并推动国产AI生态的建设。

打破硬件绑定困境：

  • 当前领先的FP8模型主要依赖英伟达H系列高端GPU，导致国内企业在部署大模型时面临芯片进口限制和国产芯片不支持FP8数据类型的困境，部署成本高昂。

  • “赤兔Chitu”通过底层技术革新，首次实现了在非H卡设备（包括英伟达Hopper架构之前的GPU及各类国产卡）上高效部署原生FP8模型，摆脱了对特定硬件的依赖。

  • 在A800集群上部署DeepSeek-R1-671B满血版时，与部分国外开源框架相比，“赤兔”在GPU使用量减少50%的情况下，推理速度仍有3.15倍的提升。

  • 基于Chitu引擎，使用3个节点运行FP8模型的输出速度约为使用6个节点运行BF16模型的75%90%，单位算力的产出获得了1.5x1.8x的提升。

地址：https://github.com/thu-pacman/chitu

✨ 2: Gemini 2.0 Flash Image Generation and Editing

Gemini 2.0 Flash能通过文本生成图像，并用自然语言编辑现有图像，支持对话式迭代修改。

Gemini 2.0 Flash Image Generation and Editing 是一个使用 Google Gemini 2.0 Flash 模型实现的图像生成和编辑工具。它允许用户：

  • 根据文本描述生成图像：
     用户提供文本提示，AI 模型可以根据提示生成相应的图像。
  • 根据自然语言指令编辑现有图像：
     用户上传图片并提供修改指令（例如“给猪加上翅膀和礼帽”），AI 模型可以按照指令编辑图片。
  • 保持对话上下文进行迭代修改：
     用户可以像与真人对话一样，不断地与 AI 模型进行交流，逐步完善图像。

这个工具使用 Next.js 搭建了一个响应式 UI，并使用了 shadcn/ui 组件库。开发者可以通过直接调用 Gemini API 或使用提供的 Next.js 快速入门项目来集成该功能。项目提供了本地开发和 Docker 部署两种方式，方便开发者快速上手。

地址：https://github.com/google-gemini/gemini-image-editing-nextjs-quickstart

✨ 3: Deep Research

Deep Research是基于Google Gemini的快速深度研究工具，能生成深度报告，注重用户隐私，数据本地存储。

Deep Research 是一个基于 Google Gemini 模型构建的快速深度研究报告生成工具。它使用 Next.js 15 和 Shadcn UI，能够在约 2 分钟内生成深入的研究报告。该工具注重用户隐私，所有数据都本地处理和存储。

  • 快速深度研究：
     利用 Gemini 模型快速生成研究报告。
  • 多平台支持:
     支持 Vercel、Cloudflare 等平台快速部署。
  • 本地和服务器 API 支持：
     提供灵活的 API 调用选项。
  • 隐私保护：
     数据本地存储，保障用户隐私。
  • 多语言支持：
     支持英文、简体中文.
  • 现代技术栈：
     基于 Next.js 15 和 Shadcn UI 构建，提供现代化的用户体验。
  • MIT 许可：
     开源免费，可用于商业和个人用途。

地址：https://github.com/u14app/deep-research

✨ 4: Xata Agent

Xata Agent是开源AI助手，监控PostgreSQL数据库，诊断问题，并提供修复和优化建议。

Xata Agent 是一个开源的 AI Agent，旨在成为你的 PostgreSQL 数据库专家。它可以监控你的数据库，找出问题的根本原因，并提出修复和改进建议，就像团队中新加入了一位经验丰富的 Postgres SRE 工程师。

地址：https://github.com/xataio/agent

✨ 5: Agentic Radar

Agentic Radar是一款用于分析Agentic系统安全性的扫描工具，可识别漏洞并生成详细报告。

Agentic Radar 是一款用于扫描和分析 Agentic 系统安全性的工具。它能帮助开发者、研究人员和安全专家理解 Agentic 系统的工作方式，并识别潜在的漏洞。

  • 工作流可视化：
     生成 Agentic 系统工作流的图形化展示。
  • 工具识别：
     列出系统使用的所有外部和自定义工具。
  • 漏洞映射：
     将识别出的工具与已知的漏洞关联起来，提供整体的安全概览。
  • 安全框架映射：
     检测到的漏洞会映射到知名的安全框架，例如 OWASP Top 10 LLM 应用和 OWASP Agentic AI 威胁与缓解措施。
  • 详细报告：
     生成包含上述所有发现的 HTML 报告，方便查看和分享。

地址：https://github.com/splx-ai/agentic-radar

（文：每日AI新工具）

欢迎分享

发表评论