ICML 2025 不靠复杂架构,经典GNN再证图级任务强基线地位

继作者团队此前对经典图神经网络(GNNs)在节点分类任务中的研究 [1],本研究进一步探讨了经典 GNNs 在图分类与图回归任务中的潜力。


为此,本文通过提出 GNN+ 框架,将六项常用超参数技术(边特征、归一化、Dropout、残差连接、FFN 和位置编码)集成进经典 GNNs 架构中(包括 GCN、GIN 和 GatedGCN),以全面重估其性能表现。


实验结果表明,在公平对比近三年提出的 30 个主流 GTs 和 GSSMs 时,经典 GNNs 在 14 个广泛使用的大规模图级任务数据集上整体性能优异,在全部数据集上进入前三,其中在 8 个任务中取得第一


值得强调的是,经典 GNNs 在保持高效性能的同时,在大多数数据集上显著快于 GTs 模型,最高可达 10 倍的加速


本研究挑战了“复杂全局建模架构在图级任务中天然优越”的主流观点,重新确认了经典 GNNs 在图级任务中的适用性与竞争力,强调其作为强大基线模型的现实潜力。

论文题目:

Can Classic GNNs Be Strong Baselines for Graph-level Tasks?

Simple Architectures Meet Excellence

论文作者:

罗元凯,时磊,吴晓明

作者单位:

北京航空航天大学、香港理工大学

论文链接:

https://arxiv.org/abs/2502.09263

代码链接:

https://github.com/LUOyk1999/GNNPlus


重新评估经典 GNNs 系列工作:

Benchmarking系列

论文链接

Classic GNNs are Strong Baselines: Reassessing

GNNs for Node Classification

(NeurIPS2024)

https://github.com/LUOyk1999/tunedGNN

Link:

https://openreview.net/

forum?id=xkljKdGe4E

Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence

(ICML 2025)

https://github.com/LUOyk1999/GNNPlus

Link:

https://arxiv.org/abs/

2502.09263


引言

图级任务(graph-level tasks)是图机器学习中最具挑战性的研究方向之一,涵盖了从小规模分子图的属性预测,到大规模蛋白质图与代码图的分类与回归。在这些任务中,整个图被视为基本学习单元,要求模型能够全面理解图结构与节点属性的联合模式。


近年来,随着 Graph Transformer(GTs)和 Graph State Space Models(GSSMs)等模型在多个公开排行榜上取得优异成绩,尤其是在小分子图领域,其全局序列建模机制被认为具备天然的表示优势。


在这一趋势推动下,逐渐形成一种共识:相比基于局部消息传递机制的经典 GNNs,此类复杂模型在图级任务中更具表现力和应用潜力。


然而,已有研究 [1] 显示,经典 GNNs 在节点任务中的表现被系统性低估,其原因在于以往超参数设置不合理、评估覆盖范围有限。本研究自然延伸出一个问题:经典 GNNs 在图级任务中是否也存在未被挖掘的性能潜力?


为此,本文构建了 GNN+框架,在三类经典 GNNs 模型(GCN、GIN、GatedGCN)基础上,引入六项被广泛使用的超参数技术(边特征整合、归一化、Dropout、残差连接、前馈网络、位置编码),全面评估其在 14 个广泛使用的大规模图级任务数据集中的表现。主要发现如下:


  • 经典 GNNs 在全部数据集上进入前三,8 个数据集取得第一,性能全面对标或超越当前 SOTA GTs、GSSMs 等架构

  • 经典 GNNs 有显著的训练效率优势,更适合大规模图学习场景

  • 通过消融实验,系统验证了 GNN+ 框架中每个模块的有效性,揭示其对性能的独立与联合贡献

这些结果再次重申:经典 GNNs 在图表示学习中的核心地位不应被忽视,简单模型在合理设计与调优下,依然是图级任务中的强大竞争者



GNN+框架介绍

GNN+ 是一个统一增强框架,适用于经典 GNNs。其核心在于在消息传递基础上,融入如下六项广泛使用的超参数技术,用以提升表示能力和训练稳定性:


  • 边特征整合:将边特征引入消息传递过程,有助于建模节点之间更丰富的结构关系,特别适用于分子图等边信息关键的任务

  • 归一化:对每层输出应用 normalization,可缓解协变量偏移,提高训练稳定性与收敛速度

  • Dropout:在激活后对节点表示进行随机丢弃,有效抑制过拟合,并减少图中节点表示间的共适应性

  • 残差连接:在层间引入残差连接,有助于缓解深层 GNNs 中的梯度消失问题,使网络能够更有效地堆叠更多层

  • 前馈网络(FFN):在每层后追加前馈网络,增强非线性变换能力,从而提升模型的表达能力

  • 位置编码(PE):通过将节点的位置编码与其特征拼接,引入全图结构感知能力,弥补 GNNs 对全局信息建模的不足



数据集与实验设置

本研究在三个广泛使用的图级任务基准上进行全面评估:


  • GNN Benchmark [2](ZINC, MNIST, CIFAR10, PATTERN, CLUSTER)

  • Long-Range Graph Benchmark(LRGB)[3,4](Peptides-func, Peptides-struct, PascalVOC-SP, COCO-SP, MalNet-Tiny)

  • Open Graph Benchmark(OGB)[5](ogbg-molhiv, ogbg-molpcba, ogbg-ppa, ogbg-code2)

基准包括图回归、图分类等多类任务,覆盖从小规模分子图到百万级大图,测试模型的广泛适应性。


所有经典 GNNs 和 GTs、GSSMs 等模型均在相同的超参数搜索空间下训练,并使用标准划分与评估指标进行对比。



验结果分

4.1 主性能对比

结果显示 GCN+、GIN+ 和 GatedGCN+ 三者在所有数据集均进入前三,其中 8 项任务取得第一,整体性能全面对标甚至超越主流 GTs 与 GSSMs:


  • 在 GNN Benchmark 中,GNN+ 在 ZINC、PATTERN 和 CLUSTER 任务上的性能提升尤为显著,GatedGCN+ 在 MNIST 与 CIFAR10 中超越 GEAET 与 GRED 等最新模型。

  • 在 LRGB 基准下,GCN+ 在 Peptides-func 与 Peptides-struct 上取得最佳表现,GatedGCN+ 在 MalNet-Tiny 中排名第一,并在 PascalVOC-SP 和 COCO-SP 中稳居前三。

  • OGB 基准实验进一步验证了 GNN+ 在大规模图任务中的优势,GatedGCN+ 在四个数据集中三次排名第一,在 ogbg-ppa 上提升约 9%,性能超过多个预训练 GTs 模型。

4.2 消融研究

本研究对 GNN+ 框架中的六个超参数模块(边特征、归一化、Dropout、残差连接、前馈网络、位置编码)进行逐一消融,结果表明各模块均为性能提升的关键组成:


消融观察1:边特征在分子图和图像超像素数据集中尤为重要


消融观察2:归一化在相对大规模数据集中影响更显著,而在小规模数据集中影响较小


消融观察3:Dropout 对大多数数据集均有积极作用,且极低的 dropout 率已足够


消融观察4:残差连接通常是必要的,除非是在浅层 GNNs 处理小图时


消融观察5:FFN 对 GIN+ 和 GCN+ 至关重要,显著影响其在各数据集上的表现


消融观察6:位置编码对相对小规模数据集尤为有效,而对大规模数据集影响较小



总结

本文系统性重新审视了经典 GNNs 在图级任务中的表现,并提出统一增强框架 GNN+。实验证明:经典 GNNs 在图级任务中不仅具备与最先进模型相媲美的能力,甚至在多个任务上取得最优结果,且训练效率更高。


研究结果强烈挑战了“复杂图模型优于经典 GNNs” 的普遍认知,进一步强调合理设计与调优对于 GNN 性能释放的重要性。



(文:PaperWeekly)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往