因此，中科大数据智能研究团队提出了一种名为 SynEVO（Synaptic EVOlutional spatiotemporal network）的进化式突触时空学习方法，借鉴神经科学中突触相关的“结构-功能”机制，模拟人脑对知识的递进获取过程，实现模型持续进化。
本文所设计的突触结构具有三大典型特点：
其一，引入基于课程学习的任务重排序以实现从易到难的任务渐进学习；
其二，模拟大脑突触结构设计弹性通用容器与个性化特征提取器，分别处理跨任务共性与特性信息，使得信息自由灵活流动；
其三，基于动态信息融合，设计动态耦合器用于判断任务信息是否应纳入共享知识结构，实现跨域迁移能力的增强与模型通用性的持续提升。
相关研究现已被 ICML 2025 接收为 Spotlight Paper，通讯作者为汪炀教授、周正阳副研究员。
论文标题：
SynEVO: A neuro-inspired spatiotemporal evolutional framework for cross-domain adaptation
预印版链接：
https://arxiv.org/abs/2505.16080
Github链接：
https://github.com/Rodger-Lau/SynEVO
引言
传统研究已在一定程度上尝试解决时空学习中的泛化能力不足问题。这些方法通过经验回放、因果推理、不变性学习等手段实现对时间或区域变化的适应；另一些工作尝试构建统一模型框架（如提示驱动的通用模型、任务级连续学习网络），提升跨任务适应能力。但这些方法仍面临三大瓶颈问题：
（1）相关已有的跨域协同机制缺乏理论支持；
（2）全盘引入不同任务易带来噪声干扰；
（3）模型进化能力欠佳，无法有效适应数据分布动态变化。
神经启发式人工智能（Neuro-Inspired AI，NeuroAI）近年来在通用性与可塑性学习方面展现出巨大潜力，其“结构-性质”的研究在人工智能领域具有巨大潜力和借鉴价值。
从神经科学角度出发，模拟人脑在习得新知识时的机制，如突触传递、渐进学习、海马体-新皮层互补系统等，为模型结构设计与知识迁移机制提供了新思路。然而，如何将神经科学中的结构特性与时空网络模型有效结合，仍面临以下挑战：
（1）如何构建渐进式学习路径实现从易到难的跨域知识积累？
（2）如何解耦共性特征与个性特征并实现存储容量的弹性扩展？
（3）如何建立快速适应机制支持少样本/零样本迁移？
为有效解决上述跨域迁移领域的瓶颈问题并克服相应挑战，本文设计了一种具备任务迁移能力、能随数据自适应更新进化的神经启发式时空学习框架 SynEVO，提升了现有模型在多源数据泛化、任务异质性建模、模型进化方面的能力。
本文主要贡献如下：
1. 从理论上分析了通过跨领域智能增加的泛化能力和通过渐进学习促进的任务融合，以应对跨领域泛化的挑战并推动模型进化。
2. 通过模仿人脑学习机制，我们引入了时空突触，并将其与渐进式课程学习、互补学习结合，其中模型进化将通过弹性共同容器的增长和自适应样本的整合实现。
3. 实验表明，集体智能能够提高数据源和时间域变化下的模型泛化能力，包括少量样本和零样本迁移，最佳泛化性能提高了 42%；作者还通过实验验证了渐进课程学习的收敛性、SynEVO 极低的运行内存消耗（即与 SOTA 技术相比，仅使用其 21.75% 的运行内存成本），潜在推动了可持续城市计算的进步。
方法
▲ 图1. SynEVO 模型框架
SynEVO 的整体架构如上图所示，它由三个协同的部分组成，分别是课程学习引导的任务重排序机制、双分支互补结构以及动态进化耦合器（Adaptive Dynamic Coupler）。
2.1 课程学习引导的任务重排序机制
2.1.1 核心思想
模仿人类“由易到难”的学习过程，将梯度反映为模型对数据的适应程度、量化数据组的学习难度，通过难度渐进的方式来重新组织时空学习样本组。
2.1.2 实施步骤
1. 梯度特征提取
-
对每个数据组 训练各自模型至收敛
-
通过反向传播获取各网络层梯度
-
计算各层梯度的平方和 作为初步难度指标
2. 梯度空间构建
-
将各层梯度展开拼接成特征向量
-
选取 最小的基准样本 （最易样本）
3. 动态排序机制
-
计算所有 与基准的向量差
-
按 升序排列，形成学习序列
-
距离基准越近的样本组学习优先级越高
优势
-
通过梯度空间保持样本间关联性
-
动态确定学习路径，避免孤立处理数据
-
无需预设难度标签，实现自适应排序
2.2 互补双分支共性个性学习器
受大脑记忆中海马体-新皮质层的互补功能启发，构建了双分支学习器，以分别容纳两种主要知识，并进一步引入神经递质传递、神经元活性传导等主要神经特性，该学习器主要包含弹性共性容器与个性提取器，形成如下功能：
1. 建立互补记忆，模拟新皮层记忆长期稳定的知识技能，而海马体获得新的快速知识；
2. 随着接收信息的增加，基于神经递质释放与传递激活更多神经元。
双分支学习器具体设计如下：
2.2.1 弹性共性容器分支
深度学习模型可以自动融合所有样本的模式，当迭代地输入新样本时，获取的知识不断增加，应扩大共性。通过组织良好的任务序列，能够在神经网络中模拟大脑知识的扩展。下图便表示了弹性共性容器的整体架构：
▲ 图2. 弹性共性容器（Elastic common container）学习过程
核心框架
提出融合神经突触递质释放机制与深度正则化技术，通过数据复杂度感知动态调节模型容量：
双参数调控：同步控制 Dropout 概率 和 L2 权重衰减系数 ，二者均与样本组难度呈负相关；
基于神经递质传递的数学建模：将突触前-后神经元活跃性差异 映射为梯度空间差异 ，建立可解释的参数控制链路。
关键技术实现
1. 梯度差异量化
定义基准域 ：选取梯度平方和最小的样本组作为“最简单”基准
计算相对难度指标：
其中 为当前域与基准域在梯度空间的向量差
2. 动态参数函数（改进的神经递质释放模型）
通过 Dropout 及正则化权值来控制模型的可伸缩性（scalability）：
Dropout 概率控制器：
是所有梯度向量的最大长度
：基础抑制强度，控制整体正则化基准线
L2 权重衰减调节器：
3. 神经元活跃性传导机制
定义二元活跃矩阵 A：
然后通过 Hadamard 乘积实现动态掩码：
活跃度特性：
-
当 （简单样本）： → 高抑制状态
-
当 （困难样本）：*→ 激活更多神经元
2.2.2 个性提取器分支
核心设计
构建共性-个性双驱动架构，通过对比学习分离领域不变特征与领域特定模式：
1. 个性提取器：线性变换层 生成领域专属表征 ；
2. 动态对比准则：定义可学习度量 量化表征相似度，实现表征解耦。
通过对比学习机制设计域感知对比损失函数：
-
域指示器 ：标记样本对是否同源；
-
边界约束 ：强制不同领域表征间距至少为 。
2.3 动态演化耦合器
核心机制
为了聚合领域之间的共性并保持领域的个性的同时实现跨域自适应，本文设计了一个阈值决策系统来动态耦合共性和个性特征。该耦合器通过表征相似度动态决策样本：
1. 新领域表征提取
个性提取器生成专属特征：
2. 领域相似度评估
构建距离集合：
其中 是弹性公共容器中训练过的域的数量， 表示 。
识别最小距离：
如果 ，则表明新域与训练过的域共享潜在的共性。然后我们可以将其放入公共容器中计算梯度，并动态调整 Dropout 因子 和权重衰减系数 。
最后，共性容器根据调整后的因素对新域进行训练，从而吸收新域知识、实现弹性增长。
若 ，表明新域几乎与已训练的域没有共性，那么我们通过初始化可学习的参数与之前的提取器来重新实例化个性提取器，以快速适应。这种表示的比较可以看作一个门结构 ：
总而言之，我们的模型 对输入 的整体学习目标可以定义为：
其中 表示 的目标值， 基于前面动态计算的结果。此外， 表示 的 L2 范数的平方， 表示 的新的随机初始可学习参数。
实验
为了验证理论结果，本文分别在 NYC，CHI，SIP 以及 SD 等不同城市时空数据集上开展了广泛实验，同时分别在时间域和任务源域上开展了迁移效果的评测，并对照了 7 种不同基线方法。
▲ 表1. 在 NYC, CHI, SIP 上的跨源域（cross-source）适应和 SD 上跨时域性能比较
▲ 表2. 与 SOTA 的空间效率比较
核心结论
SynEVO 模型在跨域自适应任务中展现显著优势，验证了弹性容器结构与突触生长进化模式的有效性：
1. 性能优势
-
领域迁移提升：NYC（+25.0%）、CHI（+2.6%）、SIP（+5.8%）、SD（+18.3%）
-
基础架构增强：相较 GWN 基准模型平均提升 35.6%，尤其在 NYC 和 SD 上突破了局部最优困境
2. 计算效率与轻量级自适应
-
相较 CMuST 注意力模型：SD 数据集计算开销降低 78.2%
▲ 表3. 在 NYC, CHI 和 SIP 三个数据集上跨时域和源域适应比较（跨源域结果源自 Tab.1）
跨时间域自适应和跨任务源域自适应
实验结果表明，SynEVO 在在三个数据集上 MAE 优于最好的基线 CMuST。同时从迁移效果来说，在任务源域上的迁移比时间域更显著，这验证了基于 NeuroAI 的突触解决方案捕捉了跨域的复杂共性，并扩展了学习空间的边界。
此外，消融实验的结果证明了，本文提出的结构是一个整体，环环相扣，去掉任何一个子模块都会导致模型性能的大幅下降。
总结
在本文中，我们提出了一种新颖的神经 AI 框架 SynEVO，以实现跨领域的时空学习，针对少量样本的领域适应。
从脑科学认知理论出发，提出了课程学习指导的样本组重新排序，互补的双分支共性-个性学习器，以 Dropout 和正则化项来控制其弹性学习并聚合共性智能；自适应动态耦合器将决定新的输入样本是否可以聚合到 SynEVO 中，并实现模型演化。
我们在跨源和跨时间领域的实验中，验证了其相对于基线模型的改进幅度为 0.5% 到 42%。对于未来的工作，我们将挖掘脑科学中更深层的“结构-功能”特性，以促进更为通用的人工智能模型泛化与进化。
如您也对 NeuroAI、进化时空智能感兴趣，欢迎与我们取得联系，联系邮箱：
zzy0929@ustc.edu.cn
（文：PaperWeekly）