在浏览器里运行DeepSeek-R1

在浏览器里运行DeepSeek-R1。如果你的浏览器支持webgpu,可以试试这个玩具项目deepseek-r1-webgpu。该项目让你可以在浏览器里跑一个 DeepSeek-R1-Distill-Qwen-1.5B 模型,使用 Transformers.js 和 ONNX Runtime Web,本地运行。当然,不要指望1.5b模型的效果很好。

参考文献:
[1] https://huggingface.co/spaces/webml-community/deepseek-r1-webgpu
[2] https://huggingface.co/onnx-community/DeepSeek-R1-Distill-Qwen-1.5B-ONNX


(文:NLP工程化)

欢迎分享

发表评论