1比特KV量化,10倍吞吐提升无损性能:多模态适用的KV cache量化策略来了,即插即用无需改原模型 下午11时 2025/04/09 作者 极市干货 读 在InternVL-2.5上实现10倍吞吐量提升,模型性能几乎无损失。 >> 加入极市CV技术交
新手必看!用 DeepSeek-R1 数据训练出你的专属中文推理模型 下午2时 2025/04/04 作者 小兵的AI视界 进行 SFT ( Supervised Fine-Tuning )的小模型也展现出了强大的效果 。前
一文图解大模型量化:量化的目的、内涵及若干实现策略 下午2时 2025/03/04 作者 老刘说NLP 个模型在GPU上运行),GGUF(可能将层卸载到CPU上)又是啥?本质是啥?这些都是困扰已久的问题。
大模型上周回顾及Deepseek开源周总结:兼看面向多任务的模型融合思路 下午2时 2025/03/03 作者 老刘说NLP ,发现一些有趣的问题,比如模型参数融合的玩法,会有更多收获。 围绕模型参数融合,MOE可视化图解,d
只需几步!用 vLLM 快速上手 DeepSeek 大模型部署 下午2时 2025/02/26 作者 小兵的AI视界 将带你深入探索如何使用 vLLM 框架部署 DeepSeek-R1-Distill-Qwen 大语言
DeepSeek的“服务器繁忙”让所有人抓狂,背后究竟是怎么回事 下午12时 2025/02/13 作者 硅星人Pro 服务器繁忙,请稍后再试”,正在让各地用户抓狂。 此前不太被大众所知的DeepSeek,因2024年1
DeepSeek-V3 FP8量化浅析 下午7时 2025/02/06 作者 GiantPandaCV 水塔花桥·琉森 摄于2024.4.30 DeepSeek-V3 横空出世,训练和推理成本极低,一个重
LoRA 微调 Qwen2-VL-2B:轻松提升性能,解锁 GPU 极限! 下午2时 2025/01/30 作者 AI技术研习社 上一篇文章我们探讨了如何使用自定义数据集进行模型训练,这次我将重点介绍如何使用 LoRA 微调 Qw
机器学习入门学习资源列表:awesomeMLSys 上午8时 2025/01/10 作者 NLP工程化 GitHub 上的 awesomeMLSys 提供了机器学习入门的学习资源列表,涵盖多个方面的内容,帮助深入学习和理解机器学习。
欢迎 PaliGemma 2 – 来自 Google 的新视觉语言模型 下午2时 2024/12/18 作者 Hugging Face 我们很高兴迎来 Google 全新的视觉语言模型 PaliGemma 2 ,这是 PaliGemma