©PaperWeekly 原创 · 作者 | 沈智翔
多重图（多关系图）是由多个跨越同类型节点的图层组成的特殊异构图，具有强大的数据建模能力。无监督多重图学习（Unsupervised Multiplex Graph Learning， UMGL）的目标是在不需要人工标记的情况下学习多关系图中的节点表征。
然而，现有的研究忽略了一个关键因素：图结构的可靠性。现实图数据通常包含大量与任务无关的噪声，严重影响了 UMGL 的性能。
此外，现有的方法主要依赖于对比学习来最大化不同视图之间的互信息，这将它们限制于多视图冗余场景。现实多关系图数据往往符合更为普适的非冗余准则，如何有效捕捉视图特有（独立）的任务相关信息成为了关键问题。
在该项研究中，我们关注一个更具挑战性和现实性的任务：如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？
为了解决这项挑战，来自电子科技大学的研究团队从理论层面严格定义了多重图非冗余，并提出了一种信息感知的无监督多重图融合框架（InfoMGF）。
该方法利用图结构学习来消除原始多图数据中的任务无关噪声，同时最大化视图共享和特有的任务相关信息，从而解决了非冗余多重图的前沿问题。理论分析保证了任务相关信息的有效学习和图融合的必要性。
在多种下游任务中，InfoMGF 超过了此前所有的无监督乃至有监督方法，具有优越的性能和鲁棒性。
本工作已被 NeurIPS 2024（机器学习三大顶会之一，CCF-A 类）会议接收。论文共同第一作者为电子科技大学的沈智翔和王硕，通讯作者为电子科技大学计算机学院的康昭副教授。
相关资料可以于如下地址访问：
Beyond Redundancy: Information-aware Unsupervised Multiplex Graph Structure Learning
论文链接：
https://arxiv.org/abs/2409.17386
代码链接：
https://github.com/zxlearningdeep/InfoMGF
项目链接：
https://neurips.cc/virtual/2024/poster/93075
研究动机
此前的 UMGL 方法在理解如何利用多关系图的丰富性知识仍然存在很大的缺陷，他们忽视了图结构的可靠性。图神经网络（GNN）中的消息传递机制通常依赖于固定的图结构。不幸的是，现实图数据中的结构并不总是可靠的，多关系图通常包含大量任务无关噪声，即不相关的、异配性的或缺失的连接。
▲ 图1：多重图非冗余
鉴于无监督的任务特性，先前的模型主要采用对比学习机制来进行有效的训练。然而，近期的研究表明，标准的对比学习仅仅最大化不同视图之间共享的任务相关信息，忽略了每个视图的独立任务信息。
现实的多重图更可能是非冗余的（多重图非冗余的理论定义如下），与任务相关的信息不仅存在于多视图的共享区域中，还可能存在于某些视图的特有区域中。
例如，在真实引文网络 ACM 中，不同的研究人员撰写的属于同一主题的论文可能具有类别相关性。与 co-author 视图相比，co-subject 视图具有独立的任务相关信息。这暴露了现有 UMGL 方法中的一个关键局限性，即可能无法捕获充分的任务相关信息。
根据以上观察，研究目标可以概括如下：如何以无监督的方式从原始多重图中学习融合图，从而减轻与任务无关的噪声，同时保留充分的任务相关信息？
为了处理这项新任务，我们提出了一种新颖的信息感知的无监督多重图融合框架（InfoMGF）。本项研究的主要贡献有以下三方面：
-
研究方向：我们开创性地提出并探索了多重图的结构可靠性问题，这是一项更加实用和具有挑战性的任务。据我们所知，本项研究是首次尝试在多重图中进行无监督图结构学习。
-
算法设计：我们提出了 InfoMGF。基于多重图非冗余准则下，InfoMGF 同时最大化视图共享和特有的任务相关信息来引导融合图学习。此外，我们开发了随机增强和生成图增强两种策略来捕获视图特有的任务信息。相应的理论分析保证了 InfoMGF 的有效性。
-
实验评估：我们在多样的下游任务上与各种最先进的方法进行了广泛的实验比较，以全面评估 InfoMGF 的有效性和鲁棒性。大量可视化工作也帮助展示了图结构学习的效果。
研究方法
多重图数据可以表示为 ，其中 是第 个图。我们首先使用图学习器生成每个视图的精炼图 。
为了同时保留节点特征和结构信息，我们采用 Simple Graph Convolution（SGC）在每个原始图中进行聚合，从而得到 view-specific node features 。
通过应用视图特定的两层注意力网络来建模不同特征对结构学习的不同贡献：
指代哈达玛积。这一策略使我们能够在训练前获取特定视图的特征，从而避免了基于 GNN 的图学习器在训练过程中耗时的图卷积操作，这提高了我们方法的可扩展性。
随后，我们进行 post-processing techniques 以确保邻接矩阵 满足诸如稀疏性、非负性、对称性和归一化等特性。具体来说，我们使用 构造相似矩阵，然后使用 -最近邻（ NN）对其进行稀疏化。
然后，依次使用对称、激活和规范化等操作来生成最终的。之后，我们使用一个视图共享的 GCN 作为图编码器，以获得每个视图的节点表征 。
正如前文所说，为了适应普遍的非冗余场景， 不仅应该包含视图共享信息，还应该捕捉视图独立的任务相关信息，即 。为鼓励模型在早期训练阶段更多地关注共享的任务相关信息，我们将优化目标放宽为视图中任务相关的总信息 。
由于缺乏标签信息，我们采用最优增强图 （满足 ）来提供指导。后文通过理论证明了最优增强图在最大化任务相关信息 的有效性，为无监督学习奠定了理论基础。
在实验中， 是借助启发式方法来得到的。与大多数图增强研究一致，我们认为图数据中的任务相关信息同时存在于结构和特征两个方面。
特征增强采用了简单有效的随机掩码。对于结构增强，我们除了尝试随机删边（InfoMGF-RA），还提出了一种可学习的生成式图增强（InfoMGF-LA）。得到增强图后，捕捉视图独立的任务相关信息的损失项被定义如下：
2.3 可学习生成式图增强（InfoMGF-LA）
随机删边可能缺乏可靠性和可解释性。较低的丢弃概率不足以消除任务无关的噪声，而过多的删除则会损害任务相关的信息。因此，我们选择使用可学习的图增强生成器。
为了避免误导性结构信息所造成的干扰，我们基于节点特征的深层映射来对原始边进行个性化的概率建模。为了确保端到端训练中采样操作的可微性，我们引入了 Gumbel-Max 重参数化技巧，将边权重的离散二元（0-1）分布转换为连续分布。
具体来说，对于视图 中的每条边 ，其在相应增强图中的边权重 计算如下：
是采样的 Gumbel 随机变量。对于良好的增强图，它一方面要与原始数据保持差异，另一方面也应保留任务相关的信息。因此，我们设计了一个合适的损失函数用于增强图训练：
其中 是正超参数。第一项使用余弦误差重建 view-specific node features，确保增强图保留关键的任务相关信息。第二项最小化 以约束增强图。
这一正则项确保在保留任务相关信息的同时最大程度地引入差异性，以实现数据增强。InfoMGF-LA 采用了一种迭代交替优化策略，交替更新精炼图 和增强图 ，算法流程细节详见原文。
有效的精炼图保留了每个视图中任务相关信息，同时消除了任务无关噪声。最后，我们学习一个融合图，以封装来自所有视图的充分的任务相关信息。我们同样利用可扩展的注意力机制作为融合图学习器：
模型的整体损失由以上三项组成 。注意到，所有损失项都需要计算互信息。
然而，由于图结构数据的复杂性，直接计算两个图之间的互信息是不切实际的。由于我们专注于节点级任务，我们假设结构优化应保证每个节点的邻域子结构包含充分的任务相关信息。因此，优化目标可以转化为节点表征之间的互信息，这可以通过基于样本的可微下界/上界实现有效估计。
其中 是由神经网络近似的评价器， 是从 插入到 目标中的最佳评价器。 表示视图 和 节点表征的联合分布，而 表示边缘分布。
总损失 中的每一项要最大化互信息，我们采用互信息下界 进行优化；而增强图生成器损失 则需要最小化互信息，我们采用互信息上界 进行优化。
▲ 图2：InfoMGF 整体框架
定理 1 理论上确保最大化 将为学习 提供清晰且充分的任务相关指导。定理 2 证明了我们的优化目标在去除与任务无关的噪声方面优于传统的图结构重构方法。
定理 3 从理论上证明，学习到的融合图 比单独考虑任何单一视图下的精炼图 包含更多的任务相关信息，这体现了多重图融合的必要性。证明过程详见原文。
我们在节点聚类和节点分类任务上对融合图进行评估。对于节点聚类，我们对融合图 的节点表征 应用 K-means 算法，并使用以下四个指标：准确性（ACC）、规范化互信息（NMI）、F1 得分（F1）和调整后的 ARI 指数。
对于节点分类，我们在 上训练一个新的 GCN 进行评估，并使用以下两个指标：Macro-F1 和 Micro-F1。从实验结果中可以看出，无论是何种下游任务，与其他多重图方法相比，我们方法的两个版本都超越了现有的最优方法。
此外，由于可学习的生成图增强在捕获每个图特有的任务相关信息方面的卓越能力，InfoMGF-LA 取得了显著的优异效果。
▲ 图4：节点分类实验结果
为了评估 InfoMGF 对噪声的鲁棒性，我们通过随机加边，随机删边，和随机特征掩码来干扰 ACM 数据集上的每个图。我们将 InfoMGF 与各种基线进行比较：结构固定方法（GCN）， GSL方法（SUBLIME）和 UMGL 方法（HDMI）。
可以明显看出，随着边缘扰动率的增加，各方法的性能下降，而 GSL 方法（即InfoMGF 和 SUBLIME）表现出更好的鲁棒性。而在特征掩码率增高的过程中，SUBLIME 无法获取高质量的节点特征，从而性能迅速下降。相比之下，InfoMGF 可以利用丰富的多重图信息，从而减少对节点特征的依赖。
值得注意的是， InfoMGF 在多种实验设置中始终优于所有对比方法，展现了优越的鲁棒性。
▲ 图5：鲁棒性分析
我们从 ACM 数据集中选择一个子图，其节点包含两类（数据库（C1）和数据挖掘（C2）），并可视化原始多重图和 InfoMGF-LA 学习的融合图 中的边权重。
从图 6 可以看出，融合图主要由类内边组成。与几乎完全连接的 PSP 视图相反，InfoMGF 显着减少了类间边缘，反映出我们方法有效去除了与任务无关的噪声。与 PAP 视图相比，InfoMGF 引入了更多类内边缘，受益于从所有图中捕获共享和独特的任务相关信息。
此外，融合图中不同的边权重代表不同的重要性级别，能够更好地服务于下游任务。我们进一步可视化了融合图节点表征。图 7 显示了表征的节点相关性热图，其中行和列均按节点标签重新排序。
在热图中，较暖的颜色表示节点之间的相关性较高。很明显，同一类别节点之间的相关性明显高于不同类节点之间的相关性，这主要是由于 更多包含类内边缘。图结构和节点可视化进一步验证了 InfoMGF 在无监督图结构学习中的有效性。
我们首次对现实多关系图中的结构可靠性和非冗余问题进行了深入研究。所提出的无监督图结构学习框架 InfoMGF 对多重图结构进行了精炼与融合，以消除与任务无关的噪声，同时最大化不同图之间共享的和特定的任务相关信息。理论和实验均证明了我们方法的有效性。
然而，本项研究的一个局限性在于只关注了纯粹的无监督场景。在部分标签可用的现实场景中，我们可以使用标签信息来为异构图学习更好的图结构。这种监督或半监督问题留给未来探索。
![]()
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
（文：PaperWeekly）
