UMbreLLa：让大型语言模型在普通设备上也能高效运行的工具

UMbreLLa：让大型语言模型在普通设备上也能高效运行的工具，通过独特的技术组合，让70B级别的模型在RTX 4070Ti上达到类似人类阅读速度的性能，特别擅长处理编程任务。

参考文献：
[1] https://github.com/Infini-AI-Lab/UMbreLLa