最近字节的Flux换脸插件PuLID更新到0.91版本,我实际测试了下,比0.90变化不明显,可能是速度快了点?
相较于传统的微调方法,PuLID无需复杂的参数优化就可以实现高效的身份ID定制,且能最大程度减少对原始模型行为的干扰。
PuLID是通过将轻量级的Lightning T2I分支和标准的扩散分支结合,并引入对比对齐损失和精确的身份ID损失来实现的。大量实验表明,PuLID在身份ID保真度和可编辑性方面都取得了优异的性能。另一个独特的特点是,PuLID在插入身份ID前后,能够尽可能保持图像元素(背景、光照、构图和风格等)的一致性。
PuLID的核心技术包括:
结合Lightning T2I分支和扩散分支:Lightning T2I分支可以在有限步数内(这里为4步)从纯噪声生成高质量的图像,为精确计算身份ID损失提供保证。
引入对比对齐损失:PuLID在Lightning T2I分支构建了有无ID注入的两种对比路径,并通过语义和布局对齐来指导模型如何插入身份ID而不影响原始模型行为。
精确的ID损失计算:得益于Lightning T2I分支生成高质量的x0,PuLID可以在更接近真实数据分布的情况下计算ID损失,从而大幅提升身份ID保真度。
总的来说,PuLID巧妙地结合了两种训练分支,通过对比对齐和精确ID损失的方式,在保持高ID保真度的同时,最大程度减少了对原始模型的干扰。
分享一个PuLID0.91可用的换脸工作流。
工作流功能较为简单,在标准工作流的基础上增加了PuLID换脸节点和图片上传节点。
可以按照自己的意愿输入提示词,然后上传参考图片进行换脸。
很适合给女朋友生成有想象力的照片。
PuLID的优缺点都比较明显:
优点是速度比较快,对系统资源要求比较低,8G显卡就能跑起来。作为对比,InstantID要16G显存才能很好的工作。
缺点是换脸动作比较单调,基本上是原样贴过去,能够做到比较自然,但无法变化其他的姿势。
希望后续版本能有所改进。
参考图:
换脸图:
再来一张:
工作流下载:
https://pan.quark.cn/s/dc9863fa7d7d
(文:路过银河AI)