NVIDIA将全量版DeepSeek-R1打包成NIM微服务

NVIDIA将全量版DeepSeek-R1打包成NIM微服务,在配备8张H200 GPU的服务器上,每秒可处理近4000个Token!可以在自己的基础设施上部署,确保数据安全。

参考文献:
[1] https://blogs.nvidia.com/blog/deepseek-r1-nim-microservice/
[2] https://build.nvidia.com/deepseek-ai/deepseek-r1


(文:NLP工程化)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往