跳至内容
每时AI

每时AI

  • 资讯
  • 国际
  • 分享
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 关于我们

量化

llama.cpp 内置的 llama-server 终于支持视觉模型

上午8时 2025/05/12 作者 NLP工程化

llama.cpp 推出视觉模型支持,多模态模型开发者可利用最新更新。

分类 开源 标签 ggml-org、 llama-server、 Llama.cpp团队、 多模态模型、 视觉模型、 量化 发表评论

1比特KV量化,10倍吞吐提升无损性能:多模态适用的KV cache量化策略来了,即插即用无需改原模型

下午11时 2025/04/09 作者 极市干货

读
在InternVL-2.5上实现10倍吞吐量提升,模型性能几乎无损失。
>>
加入极市CV技术交

分类 学术 标签 1比特、 CalibQuant、 KV Cache、 多模态语言模型、 性能、 量化 发表评论

新手必看!用 DeepSeek-R1 数据训练出你的专属中文推理模型

下午2时 2025/04/04 作者 小兵的AI视界

进行
SFT
(
Supervised Fine-Tuning
)的小模型也展现出了强大的效果
。前

分类 开源 标签 交叉验证、 数据集加载、 模型微调、 版本控制系统、 超参数优化、 量化 发表评论

一文图解大模型量化:量化的目的、内涵及若干实现策略

下午2时 2025/03/04 作者 老刘说NLP

个模型在GPU上运行),GGUF(可能将层卸载到CPU上)又是啥?本质是啥?这些都是困扰已久的问题。

分类 大模型 标签 大型语言模型、 权重量化、 激活值量化、 训练后量化、 量化、 量化感知训练 发表评论

大模型上周回顾及Deepseek开源周总结:兼看面向多任务的模型融合思路

下午2时 2025/03/03 作者 老刘说NLP

,发现一些有趣的问题,比如模型参数融合的玩法,会有更多收获。
围绕模型参数融合,MOE可视化图解,d

分类 大模型 标签 LORA、 Mergekit、 Mixture of Experts、 深度学习、 量化、 马巴米模型 发表评论

只需几步!用 vLLM 快速上手 DeepSeek 大模型部署

下午2时 2025/02/26 作者 小兵的AI视界

将带你深入探索如何使用
vLLM
框架部署
DeepSeek-R1-Distill-Qwen
大语言

分类 开源 标签 24G显卡、 异步推理、 显存配置、 模型剪枝、 温度参数、 量化 发表评论

DeepSeek的“服务器繁忙”让所有人抓狂,背后究竟是怎么回事

下午12时 2025/02/13 作者 硅星人Pro

服务器繁忙,请稍后再试”,正在让各地用户抓狂。
此前不太被大众所知的DeepSeek,因2024年1

分类 资讯 标签 DeepSeek、 剪枝、 异构计算、 混合精度、 知识蒸馏、 量化 发表评论

DeepSeek-V3 FP8量化浅析

下午7时 2025/02/06 作者 GiantPandaCV

水塔花桥·琉森 摄于2024.4.30
DeepSeek-V3 横空出世,训练和推理成本极低,一个重

分类 学术 标签 block、 CuTe、 CUTLASS、 EVT、 FP8、 量化 发表评论

LoRA 微调 Qwen2-VL-2B:轻松提升性能,解锁 GPU 极限!

下午2时 2025/01/30 作者 AI技术研习社

上一篇文章我们探讨了如何使用自定义数据集进行模型训练,这次我将重点介绍如何使用
LoRA 微调
Qw

分类 大模型 标签 GPU内存、 Qwen2-VL、 全连接层、 推理速度、 模型剪枝、 量化 发表评论

机器学习入门学习资源列表:awesomeMLSys

上午8时 2025/01/10 作者 NLP工程化

GitHub 上的 awesomeMLSys 提供了机器学习入门的学习资源列表,涵盖多个方面的内容,帮助深入学习和理解机器学习。

分类 开源 标签 分布式计算、 性能优化、 机器学习、 注意力机制、 神经网络、 量化 发表评论
较早文章
页面1 页面2 下一页 →

2025年 AGI AI AI技术 Anthropic ChatGPT Claude DeepSeek DeepSeek-R1 DeepSeek R1 GitHub GPT-4o LLM Manus Meta OpenAI Python Sam Altman 人工智能 人形机器人 具身智能 大型语言模型 大模型 大语言模型 字节跳动 开源 强化学习 微软 扩散模型 技术创新 智能体 木易 机器学习 深度学习 清华大学 生成式AI 用户体验 百度 腾讯 自然语言处理 英伟达 谷歌 阿里云 阿里巴巴 马斯克

近期文章

  • 时隔一年,再次使用7个国产AI大模型写高考作文,国产模型的进步也太大了!有彩蛋。
  • 小红书开源大模型dots.llm1,初次出手,小有惊艳!国外网友们又炸了……
  • 18天光速打脸!OpenAI刚夸TypeScript最合适,转头就用Rust重写Codex CLI
  • 别被MCP的包装骗了!重构系统、向智能体转型,CEO亲述:关键时刻还是RPA兜底?
  • 你永远叫不醒装睡的大模型!多轮对话全军覆没,性能暴跌39%

分类

  • 分享
  • 国际
  • 大模型
  • 学术
  • 开源
  • 机器人
  • 资讯
2025 年 6 月
一 二 三 四 五 六 日
 1
2345678
9101112131415
16171819202122
23242526272829
30  
« 5 月    

归档

  • 2025 年 6 月
  • 2025 年 5 月
  • 2025 年 4 月
  • 2025 年 3 月
  • 2025 年 2 月
  • 2025 年 1 月
  • 2024 年 12 月
  • 2024 年 11 月

AI新闻 | X平台 | APK反编译 | 京ICP备2024096144号 |
© 2025 每时AI • Built with GeneratePress
 下载我们的APP,AI秒送达!  立即下载
×