©作者 | 苗夺谦、张奇团队
单位 | 同济大学
从大脑信号还原视觉刺激一直是神经科学和计算机科学研究人员们津津乐道的话题。然而，基于非侵入式大脑活动 fMRI（功能性磁共振成像）到视频的重建研究仍然有限，因为解码连续视觉刺激的时空感知是一项艰巨的挑战。
为此，本文提出了一种名为 NeuroClips 的创新框架，用于从 fMRI 数据中解码高保真和流畅的视频。
论文题目：
NeuroClips: Towards High-fidelity and Smooth fMRI-to-Video Reconstruction
https://arxiv.org/abs/2410.19452
https://github.com/gongzix/NeuroClips
从fMRI重建视频具有哪些挑战？
1.fMRI 的低时间分辨率。功能性磁共振成像 fMRI 相比于常用的 EEG 脑电信号而言，具有极高的空间分辨率，可以对全脑进行细致的扫描。但是由于全脑扫描更加耗时，fMRI 拥有较低的时间分辨率，通常 2s 才能完成一次采样，帧率只有 0.5。
然而，需要重建视频的时间分辨率是极高的，通常达到 30~60 的帧率。因此 fMRI 的低时间分辨率（0.5fps）和真实视频采样的高时间分辨率（30fps）之间存在严重冲突。
2. 重建视频的低级视觉感知缺乏控制。以往的研究对于视频重建，已经实现了较为精准的语义重建。例如，当采集被试看见一个男人的 fMRI 信号并用于重建，可以获得一段男人的视频。然而，视频更难的点在于物体形状变化，人物动作以及场景的变化。因此过往的研究缺乏对重建视频的低级视觉感知的控制。
为了解决上述挑战，我们主张利用关键帧图像作为过渡视频重建的锚点，与大脑的认知机制相吻合。此外，fMRI 到视频重建考虑低级感知特征，从大脑活动解码低级感知流，如运动和动态场景，以补充关键帧，从而增强高保真帧的重建，生成平滑的视频。
我们提出了一种新颖的 fMRI-to-video 重建框架 NeuroClips，引入了两个可训练的组件 —— 感知重建器（Perception Reconstructor）和语义重建器（Semantics Reconstructor），分别用于重建低级感知流和语义关键帧。
而在推理过程中，采用一个预先训练好的 T2V 扩散模型，注入关键帧和低级感知流，以实现高保真度、平滑度和一致性的视频重建。该模型不仅在各项指标上实现了 SOTA 性能，还通过使用多 fMRI 融合，开创了长达 6 秒、8 帧率视频重建的探索。
▲ 图1. NeuroClips的整体框架，红色的线代表推理过程
-
感知重建器（PR）从感知层面生成模糊但连续的粗略视频，同时确保其连续帧之间的一致性；
-
语义重建器（SR）从语义层面重建高质量的关键帧图像；
-
推理过程是 fMRI 到视频的重建过程，它使用 T2V 扩散模型，并结合 PR 和 SR 的重建结果，以高保真度、平滑度和一致性重建最终的保真视频。
1. 感知重建器（Perception Reconstructor，PR）
将视频按两秒间隔分割成多个片段（即 fMRI 的时间分辨率）。通过在 Stable Diffusion 的 VAE 解码器中添加时间注意力层，获得对齐的 fMRI 模糊嵌入，这些嵌入可以用于生成模糊视频，其缺乏语义内容，但能感知场景的通用动作信息，在位置、形状、场景等感知指标上表现出最先进的水平。
2. 语义重建器（Semantics Reconstructor , SR）
语义重构器（SR）的核心目标是重建高质量的关键帧图像，以解决视觉刺激和 fMRI 信号之间的帧率不匹配的问题，从而提高最终视频的保真度。现有愈发成熟的 fMRI 到图像重建研究促进了我们的目标，包括将 fMRI 进行低维处理、关键帧图像与 fMRI 的对齐、重建嵌入生成以及文本模态的重建增强。
受到对比学习的启发，我们在 和 之间进行对比学习，通过额外的文本模态来增强重建嵌入 。对比损失作为这一过程的训练损失 。我们设置混合系数 和 来平衡多个损失。
其中， 是关键帧图像和 fMRI 对齐采用的结合了 MixCo 和对比损失的双向损失， 是重建时与 DALLE 相同的扩散先验损失。
3. 推理过程（Inference Process）
我们结合模糊的粗略视频（PR 输出）、高质量的关键帧图像（模糊视频第一帧嵌入 和 fMRI 嵌入输入到 SR 中的 SDXL unCLIP 生成）和额外的文本模态分别作为 、 和 Guidance 来重建具有高保真度、平滑度和一致性的最终视频。
我们采用 text-to-video（T2V）的扩散模型来帮助重建视频，而由于嵌入的语义仅来自文本模态。我们还需要通过增强来自视频和图像模态的语义来创建 “综合语义” 嵌入，以帮助实现 T2V 扩散模型的可控生成。
4. 多fMRI融合（Multi-fMRI Fusion）
如何从 fMRI 中重建更长的视频呢？在推理过程中，我们考虑来自两个相邻的 fMRI 样本的两个重建关键帧的语义相似性，如果语义相似，我们就用前一个 fMRI 重建视频的尾帧替换后一个 fMRI 的关键帧，该帧将作为后一个 fMRI 的第一帧来生成视频。
如图 2 所示，通过这一策略，我们首次实现了长达 6 秒的连续视频重建。
本文使用开源的 fMRI-video 数据集（cc2017 数据集）进行了 fMRI-to-video 的重建实验，通过基于帧的和基于视频的指标进行了定量评估，并进行了全面分析。
▲ 表1. NeuroClips重建性能与其他方法的定量比较
结果如上表所示，NeuroClips 在 7 个指标中的 5 个上显著优于先前的方法，SSIM 性能大幅提升，表明其补充了像素级控制的不足。语义层面的指标也总体上优于先前的方法，证明了 NeuroClips 更好的语义对齐范式。
在评估视频平滑度的 ST 级指标上，由于我们引入的模糊的粗略视频（ Guidance），NeuroClips 远超 MinD-Video，重建视频更加流畅。
此外，为了探究神经层面的可解释性，本文在脑平面上可视化了体素级别的权重以观察整个大脑的关注度。可以观察到，任何任务视觉皮层都占据着重要的位置，以及 SR 和 PR 的不同权重。
结论
本文创新性地提出了 NeuroClips，这是一种用于 fMRI-to-video 重建的新颖框架。通过感知重建和语义重建两条路径实现了体素级和语义级的 fMRI 视觉学习。我们可以在不进行额外训练的情况下将它们配置到最新的视频扩散模型中，以生成更高质量、更高帧率和更长的视频。
NeuroClips 能够在语义级精度和像素级匹配程度上恢复视频，从而在该领域建立了新的最佳水平，我们还可视化了 NeuroClips 的神经科学可解释性。
![]()
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
（文：PaperWeekly）
