关注我，记得标星⭐️不迷路哦～
✨ 1: SearchAgent-X
高效推理搜索LLM代理系统：SearchAgent-X
-
高效的推理-搜索交错式LLM Agent系统: SearchAgent-X是一个为大型语言模型（LLM）代理设计的，用于推理和搜索交错执行的高效系统。
-
性能优越: 相比于流行的LLM推理框架vLLM和基于HNSW的检索方法，SearchAgent-X在吞吐量方面提高了1.3-3.4倍，而延迟仅为0.2-0.6倍。
-
适用场景: 适用于需要低延迟和高吞吐量LLM搜索代理的Serving场景，以及需要减少耗时、多轮LLM rollout的后训练场景（如强化学习）。
-
环境配置: 提供了Retriever（及Encoder）和Generator的环境配置方法，依赖于conda和pip，以及相应的requirements.txt文件。
-
数据与模型配置: 项目使用特定的数据集（如wiki-18-corpus、Musique）和模型（如all-MiniLM-L6-v2、Qwen系列模型），并要求用户在
config.py中配置这些数据和模型的路径。 -
快速启动: 提供了启动Retriever服务器和运行实验的快速启动指南，包括修改
config.py中路径的步骤。 -
自定义语料库与索引: 提供了用于处理用户自有语料库的脚本，包括
embedding.py用于生成句向量，以及build_hnsw.py用于构建HNSW索引。 -
自定义推理模型: 允许用户通过编辑
config.py来集成不同的推理模型，并配置相应的提示模板。 -
离线/在线部署: 支持离线部署（通过设置
REQUEST_RATE = 'inf'）和在线部署（通过设置REQUEST_RATE为具体数值来管理请求速率）两种部署方式。 -
未来发展方向: 计划将SearchAgent-X集成到后训练框架中，并支持更多常用的检索方法。
地址：https://github.com/tiannuo-yang/SearchAgent-X
✨ 2: joinly.ai
AI助手参与会议，赋能实时互动
joinly.ai 是一个连接器中间件，旨在使 AI 代理能够加入并积极参与视频通话。它提供了一系列工具和资源，让 AI 代理可以在会议中执行任务并与参会者进行实时交互。该项目具有实时互动、会话流程管理、跨平台支持、灵活的 LLM 和 TTS/STT 选择等特性，并且完全开源、可自托管，注重隐私。开发者可以通过 Docker 快速启动 joinly.ai，并可以通过外部客户端连接到 joinly MCP 服务器，添加各种 MCP 服务器的工具来扩展其功能。该项目还提供了一系列的配置选项，并鼓励开发者贡献代码，提出了未来的发展路线图，并提供了交流和获取帮助的途径。
地址：https://github.com/joinly-ai/joinly
✨ 3: Nano-vLLM
轻量级vLLM实现方案
Nano-vLLM是一个轻量级的vLLM实现，它从头开始构建，主要功能包括可与vLLM媲美的快速离线推理速度、仅有1200行Python代码的易读代码库，以及前缀缓存、Torch编译、CUDA图等优化套件。它提供了一个类似于vLLM的接口，并通过基准测试展示了其在Qwen3-0.6B模型上的性能，与vLLM相比，吞吐量十分接近。项目可以通过pip安装，并提供了一个示例文件example.py以及基准测试脚本bench.py。
地址：https://github.com/GeeeekExplorer/nano-vllm
✨ 4: Chatterbox TTS API
Chatterbox TTS API：基于FastAPI的语音克隆TTS服务
Chatterbox TTS API是一个基于FastAPI构建的RESTful API，它为Chatterbox TTS提供与OpenAI兼容的文本转语音端点，并具有语音克隆功能。它旨在简化TTS集成，并提供高性能、可配置和易于使用的接口。
- OpenAI兼容的API
：提供与OpenAI的TTS API直接替换的方案，便于集成和使用。 - FastAPI性能
：采用高性能的异步API，并自动生成API文档，提高开发效率。 - 语音克隆
：允许使用自定义语音样本来生成个性化的语音，增强TTS的定制性。 - 语音上传
：支持按请求上传自定义语音文件或使用配置的默认文件，提供灵活性。 - 智能文本处理
：自动对长文本进行分块处理，确保顺利生成语音。 - Docker支持
：提供完整的容器化支持，简化部署过程。 - 高度可配置
：通过丰富的环境变量进行配置，适应不同的使用场景。 - 参数控制
：可以实时调整语音特征，如情感夸张程度、语速和采样随机性。 - 自动生成文档
：通过 /docs和/redoc端点提供交互式的API文档。 - 类型安全
：使用Pydantic进行请求和响应的全面验证。 - 内存管理
：具有高级内存监控和自动清理功能，防止内存泄漏。
地址：https://github.com/travisvn/chatterbox-tts-api
✨ 5: Vertex AI RAG Agent with ADK
Vertex AI RAG Agent with ADK：文档问答及管理
“Vertex AI RAG Agent with ADK”提供了一个使用Google Agent Development Kit (ADK)实现的Retrieval Augmented Generation (RAG)代理。 该代理允许用户使用自然语言查询文档语料库，列出可用的文档语料库，创建新的文档语料库，向现有语料库添加新文档，获取有关特定语料库的详细信息，以及在不再需要时删除语料库。它集成了Google Cloud Vertex AI，方便用户进行文档检索和问答，并提供了详细的文档管理功能。
地址：https://github.com/bhancockio/adk-rag-agent
（文：每日AI新工具）