物品驱动的图片生成OmniControl

项目简介

OmniControl：物品驱动的图片生成
提供素材图，生成的图片中融入素材图中的主体。融合效果还行，图片效果一般。

特征

OminiControl 是一个最小但功能强大的通用控制框架，适用于FLUX等扩散变压器模型。

• Universal Control 🌐 ：统一的控制框架，同时支持主题驱动控制和空间控制（例如边缘引导和修复生成）。

• 最小设计🚀 ：注入控制信号，同时保留原始模型结构。仅在基础模型中引入了 0.1% 的额外参数。

快速开始

设置（可选）

1.  环境设置

conda create -n omini python=3.10conda activate omini

2. 要求安装

pip install -r requirements.txt

使用示例

1. 主题驱动生成： examples/subject.ipynb

2. 修复： examples/inpainting.ipynb

3. Canny 边缘到图像、深度到图像、着色、去模糊： examples/spatial.ipynb

Gradio应用程序

要运行 Gradio 应用程序以进行主题驱动生成：

python -m src.gradio.gradio_app

主题驱动生成指南

1. 输入图像会自动进行中心裁剪并调整大小至 512×512 分辨率。

2. 撰写提示时，请使用诸如this item 、 the object或it之类的短语来指代主题。例如

1. 该物品的特写视图。它被放置在一张木桌上。

2. 一位年轻女士穿着这件衬衫。

3. 由于训练中缺乏人类数据，该模型目前主要适用于物体而不是人类受试者。

扫码加入技术交流群，备注「开发语言-城市-昵称」

合作请注明

关注「GitHubStore」公众号

（文：GitHubStore）