Flux模型PuLID换脸工作流

最近字节的Flux换脸插件PuLID更新到0.91版本,我实际测试了下,比0.90变化不明显,可能是速度快了点?

相较于传统的微调方法,PuLID无需复杂的参数优化就可以实现高效的身份ID定制,且能最大程度减少对原始模型行为的干扰。

PuLID是通过将轻量级的Lightning T2I分支和标准的扩散分支结合,并引入对比对齐损失和精确的身份ID损失来实现的。大量实验表明,PuLID在身份ID保真度和可编辑性方面都取得了优异的性能。另一个独特的特点是,PuLID在插入身份ID前后,能够尽可能保持图像元素(背景、光照、构图和风格等)的一致性。

PuLID的核心技术包括:

结合Lightning T2I分支和扩散分支:Lightning T2I分支可以在有限步数内(这里为4步)从纯噪声生成高质量的图像,为精确计算身份ID损失提供保证。

引入对比对齐损失:PuLID在Lightning T2I分支构建了有无ID注入的两种对比路径,并通过语义和布局对齐来指导模型如何插入身份ID而不影响原始模型行为。

精确的ID损失计算:得益于Lightning T2I分支生成高质量的x0,PuLID可以在更接近真实数据分布的情况下计算ID损失,从而大幅提升身份ID保真度。

总的来说,PuLID巧妙地结合了两种训练分支,通过对比对齐和精确ID损失的方式,在保持高ID保真度的同时,最大程度减少了对原始模型的干扰。

分享一个PuLID0.91可用的换脸工作流。

工作流功能较为简单,在标准工作流的基础上增加了PuLID换脸节点和图片上传节点。

可以按照自己的意愿输入提示词,然后上传参考图片进行换脸。

很适合给女朋友生成有想象力的照片。

PuLID的优缺点都比较明显:

优点是速度比较快,对系统资源要求比较低,8G显卡就能跑起来。作为对比,InstantID要16G显存才能很好的工作。

缺点是换脸动作比较单调,基本上是原样贴过去,能够做到比较自然,但无法变化其他的姿势。

希望后续版本能有所改进。

参考图:

换脸图:

再来一张:

工作流下载:

https://pan.quark.cn/s/dc9863fa7d7d

(文:路过银河AI)

欢迎分享

发表评论