v3版本

HuggingFace发布文本生成推理引擎TGI v3版本，性能大幅提升：在单个L4显卡上处理30k token lama 3.1-8B模型输入成为可能。与vLLM相比，在超长文本处理方面快了13倍。通过优化内存管理、改进前缀缓存结构和开发新的推理内核，TGI v3实现了零配置的极致性能。