WWW 2025 新大、中科大提出文本无关的多领域图基础模型SAMGPT

作者

©PaperWeekly 原创 · 作者 | 龚泽川
单位 | 中国科学技术大学硕士生
研究方向 | 图神经网络、协同感知

论文题目：
SAMGPT: Text-free Graph Foundation Model for Multi-domain Pre-training and Cross-domain Adaptation

论文链接：
https://arxiv.org/pdf/2502.05424

代码链接：
https://github.com/blue-soda/SAMGPT

论文录用：

The ACM Web Conference Research Track 2025

摘要

在众多在线服务中，图能够有效建模互联的实体，从而支持广泛的网络应用。这引出了一个关键问题：如何在多个源领域上训练一个图基础模型，并使其适应一个未见过的目标领域？
然而，来自不同领域的图往往表现出显著不同的特性，这成为了一个主要的障碍。一些研究尝试借助大型语言模型，通过图中附带的文本描述来对齐多个领域，但这种做法严重限制了其在带文本属性图上的应用范围。对于无文本图，尽管有少数近期研究试图跨领域对齐不同的特征分布，但它们大多忽略了结构上的差异。
为了应对这些挑战，我们提出了一种名为 SAMGPT（Structure Alignment for text-free Multi-domain Graph Pre-Training and cross-domain adaptation）的全新结构对齐框架。该框架旨在从多个源领域的图中学习多领域的知识，并将其迁移至一个未见的目标领域中应用。
具体来说，我们在预训练阶段引入了一组结构标记（structure tokens），用于协调源领域间基于结构的聚合操作。接着，为了进行跨领域适应，我们设计了两类提示——整体提示（holistic prompts）和领域特定提示（specific prompts），前者适配统一的多领域结构知识，后者则关注细粒度的领域特有信息。

最后，我们在七个公开数据集上开展了全面的实验，深入评估并分析了 SAMGPT 的有效性。实验结果表明，该方法在多领域图预训练与跨领域适应任务中展现出了显著的优势。

动机

来自不同领域的图通常表现出独特的结构和拓扑特征，例如平均节点度数，最短路径长度和聚类系数，如表1所示。因此，在预训练期间合并没有结构对齐的多域图可能会导致干扰，而不是协同作用，导致性能次优。

方法

3.1 结构对齐的多域图预训练

对于多个源域的一组预训练图 ，由于这些域的特征和结构都可以表现出不同的分布，因此这些多域图的有效整合都需要对齐两者。
3.2 结构对齐
为协调多源域的异构结构特征，SAMGPT 为每个源域 设计层特异性结构标记 {}，修改图编码器的邻居聚合过程：

其中 为第 层结构标记， 表示逐元素相乘。结构标记通过预训练学习领域特有的拓扑模式（如节点度数分布、聚类系数等）。

通过在所有域中的图中堆叠结构对齐的输出矩阵，我们获得了整体结构对准嵌入矩阵：

最后，我们将 与 融合在一起，获得嵌入矩阵 H 的多域节点，并结合了特征和结构对齐：
其中  > 0 是一个超参数。
3.2.1 预训练损失
我们利用基于子图相似性计算的通用任务模板，该模板可确保在不同任务（例如节点分类和图形分类）之间的兼容性。统一的对比预训练目标：

其中 表示预训练中观察到的图元素的集合，， 分别表示 的正或负实例，
而 、、 分别是 、、 对应的嵌入向量。 是一个相似性函数，例如余弦相似度。 是温度超参数。
3.2.2 双提示跨域结构适应
给定一个模型从源域 进行的图 进行了预训练，我们的目标是将其调整到目标域 中的图 上的下游任务中。对于结构适应，我们提出了双重提示，包括整体提示和领域特定提示。
一方面，整体提示旨在从所有源域中整体利用预训练的结构知识。另一方面，领域特定提示通过可学习的方式结合了多域结构标记，将细粒度的特定结构知识调整到目标域。
3.2.3 整体提示

为了将整体多域结构知识转移到下游任务，我们提出了一组旨在使目标域 𝐷𝑇 与在源域 d𝑆 上进行预训练的模型的整体提示。与任何预训练框架一样，我们使用带有冷冻层的编码器 。但是，关键区别在于，我们注入一系列可学习的向量 作为整体提示，基于下游结构进行聚合：

最终输出下游任务图的整体节点嵌入矩阵，称为 。
3.2.4 特定提示
与整体提示不同，特定提示旨在适配每个源域特有的结构知识。由于相关源域的知识可能更具适用性，因此需要将目标域与不同源域进行不同程度的对齐，优先考虑最相关的源域。因此，我们将特定提示定义为 ，并将其注入到预训练图编码器的不同层中。具体来说，在第 层， 是 的组合，即对应层中所有源域 的预训练结构标记。

其中， 是可学习的系数。因此，特定提示的完整可学习参数集为 。特定提示以与整体提示相同的方式修改基于结构的聚合，同时冻结图编码器的预训练权重。同样，我们将基于特定提示的输出节点嵌入矩阵称为 。
3.2.5 提示调优

为了利用预训练模型中的整体多域和特定域结构知识，我们将通过整体提示和特定提示获得的输出嵌入矩阵进行融合：

其中， 是一个超参数。进一步结合特征适应，我们获得包含特征和结构适应的整体节点嵌入矩阵，表示如下：

这里， 是与特征和结构融合中相同的超参数。对于下游节点和图分类任务，损失函数 基于与预训练损失 相同的子图相似性任务模板。设 表示带标签的训练集，其中每个 是节点或图实例， 是其对应的类别。随后，我们优化以下跨域适应损失：

其中， 表示基于 的节点或图的适应嵌入，如果 是一个图，则需要对 进行读取操作。此外， 表示类别 的原型嵌入，计算为所有类别 的训练实例的平均嵌入。

实验
4.1 跨领域少样本学习实验
4.1.1 1-shot性能对比

在跨领域 1-shot 设置下，SAMGPT 在各个目标域中都在节点和图形分类中取得了出色的性能，这证明了我们所提出的结构令牌在多域预处理和跨域适应中的双重提示中的有效性。

其次，另一种无文本的多域预训练方法 GCOPE 显着落后于 SAMGPT，因为它仅对特征和同质模式进行对齐和适应性，而无需考虑跨域之间的结构差异。这进一步强调了我们的结构令牌和双重提示的重要性。

第三，图表预训练方法通常优于端到端 GCN 和 GAT，展现了无监督预训练的优势。
4.1.2 few-shot性能对比

随着训练样本数量 的增加，SAMGPT 在低样本设置（）中始终优于其他竞争方法。当 接近 10 时，SAMGPT 的性能与最优基线相当，但仍保持领先。这表明在少样本场景下，SAMGPT 能够更有效地利用预训练的结构知识。
4.2 消融实验
4.2.1 数据消融实验

通过逐步增加预训练源域的数量（如 Citeseer、LastFM、Photo 和 Facebook），发现 SAMGPT 在不同源域配置下均表现优异，并且随着源域数量的增加性能持续提升。相比之下，其他竞争方法在增加源域时性能波动较大，说明 SAMGPT 的结构对齐和适应机制更为鲁棒。
4.2.2 模型消融实验

通过对模型关键组件（如结构标记、整体提示和特定提示）进行消融，发现去除任一组件均会导致性能下降。其中，结构标记的缺失对性能影响最大，验证了其在多域结构对齐中的重要性。整体提示和特定提示的引入也显著提升了模型的跨域适应能力。
4.3 同质敏感性实验

在同质（如 Cora、Photo、Facebook）和异质（如 Chameleon、Cornell、Squirrel）图上进行 1-shot 节点分类，SAMGPT 均显著优于其他竞争方法。这表明 SAMGPT 能够有效处理不同同质性比率的图数据，展现了其广泛的适用性。

（文：PaperWeekly）

欢迎分享

发表评论