阿里出品:用大模型和comfyUI对话

阿里发布了一个开源工具,叫ComfyUI-Copilot,这个工具可以使用自然语言(通过API接入大模型)和comfyUI交互,非常方便,而且正在不断升级,功能越来越强大。

一、GitHub介绍

介绍

欢迎使用 ComfyUI-Copilot,这是一个基于 ComfyUI 框架构建的智能助手,通过自然语言交互简化并增强 AI 算法调试和部署过程。

无论是生成文本、图像还是音频,ComfyUI-Copilot 都提供直观的节点推荐、工作流构建辅助和模型查询服务,以简化您的开发过程。



为什么选择 ComfyUI-Copilot?

  • 易于使用
    :通过自然语言交互降低入门门槛,使 Comfy-UI 即便对初学者也能轻松上手。
  • 智能推荐
    :利用 AI 驱动的节点建议和工作流实现来提高开发效率。
  • 实时帮助
    :享受全天候互动支持,以解决开发过程中遇到的任何问题。

✨ Updates

2025.02.27 版本更新

  • 多模型支持
    :增加集成DeepSeek AI和Qwen-plus模型;
  • 节点安装体验优化
    :增加当用户尝试加载未安装的节点时,智能跳转至 GitHub 仓库或相关谷歌搜索结果的功能。
  • 提示词生成改进
    :增强 SD 提示生成能力,改进了错误日志分析能力。
  • 性能优化
    :解决了在使用 Copilot 时在 GitHub Issue中报告的延迟问题。
  • 多语种优化
    :修复节点信息查询实现了多语言环境响应,增加节点查询的上下文响应。
  • 子图推荐优化
    :重新设计下游子图生成逻辑,以过滤冗余子图,移除过大的子图推荐,并过滤上游节点以改善用户体验。
  • 模型数据库迭代
    :新增覆盖60000+个LoRA和Checkpoint数据。

核心功能(V1.0.0)

  • 互动问答机器人
    :访问强大的问答平台,用户可以轻松询问模型细节、节点详情和参数使用。
  • 自然语言节点建议
    :使用我们先进的搜索机制快速找到所需节点,提高工作流构建效率。


  • 节点查询系统
    :深入探索节点,查看其说明、参数定义、使用技巧和下游工作流推荐。


  • 智能工作流助手
    :自动识别开发者需求,推荐并构建合适的工作流框架,减少手动设置时间。


  • 模型查询
    :根据需求提示 Copilot 查找基础模型和 ‘lora’。
  • 即将推出的功能
    • 自动参数调整
      :利用机器学习算法无缝分析和优化关键工作流参数。
    • 错误诊断和修复建议
      :获取全面的错误见解和修正建议,以快速定位和解决问题。

二、安装

三、大模型配置

目前支持ChatGPT几个模型、阿里的qwen和DeepSeek,具体配置方式如下。

安装成功后,会出现一个漂浮按钮。

点击进入使用界面。

点击设置按钮。

comfyUI copilot API key会有一个自动获取的密钥,不用修改,最好复制保存起来。

OpenAI API Key输入DeepSeek的API Key(如果使用ChatGPT可以用OpenAI的密钥)

然后点一下Verify测试通过即可保存。



(文:路过银河AI)

欢迎分享

发表评论