NVIDIA将全量版DeepSeek-R1打包成NIM微服务

NVIDIA将全量版DeepSeek-R1打包成NIM微服务,在配备8张H200 GPU的服务器上,每秒可处理近4000个Token!可以在自己的基础设施上部署,确保数据安全。

参考文献:
[1] https://blogs.nvidia.com/blog/deepseek-r1-nim-microservice/
[2] https://build.nvidia.com/deepseek-ai/deepseek-r1


(文:NLP工程化)

欢迎分享

发表评论