Kubernetes
llm-d:Kubernetes原生高性能分布式LLM推理框架,助力大规模语言模型推理部署
Kubernetes原生高性能分布式LLM推理框架,提升性能、灵活部署和优化资源利用。相关技术参考及服务内容介绍。
Dapr Agents 发布:支持规模化 AI 工作流、多智能体协作
Dapr Agents 是一个利用大语言模型构建可扩展、可靠的企业级AI智能体框架,支持数千个智能体运行,并通过强大的编排和消息传递确保可靠性。它基于经过验证的Dapr工作流引擎,提供原生Kubernetes支持。
SkyPilot:在任何基础设施(K8S 或 14+ 云平台)上运行 AI 和批处理作业
SkyPilot:一个统一平台,能在Kubernetes或多种云平台上运行AI和批处理作业,提供简洁界面、统一管理及优化成本等特性。
Agentic Mesh:Agent系统进化的下一个方向(Agent技术架构实现)
自主Agent具备感知环境、主动求目标、社交互动、持续学习和适应复杂动态环境的能力;其基础架构包括任务管理和智能层两大支柱,以及微服务架构实现的安全性、可靠性、可部署性和可运维性优势。
一个馒头引发的血案:OpenAI全球宕机原因曝光!
一个监控服务的部署导致OpenAI全球服务瘫痪。根本原因是监控服务定期从所有节点轮询指标并触发资源密集型的Kubernetes操作,最终导致控制平面崩溃和服务不可用。