ReLU激活

transformer的encoder编码器进行特征提取本质上就是一个数据建模的过程；
‍
‍
‍