llama.cpp 内置的 llama-server 终于支持视觉模型了,还在等待用各个gguf量化的多模态模型的同学可以开用了。


参考文献:
[1] pr 地址:https://github.com/ggml-org/llama.cpp/pull/12898
[2] https://github.com/ggml-org/llama.cpp/blob/master/docs/multimodal.md
知识星球服务内容:Dify源码剖析及答疑,Dify对话系统源码,NLP电子书籍报告下载,公众号所有付费资料。加微信buxingtianxia21进NLP工程化资料群。
(文:NLP工程化)