GELU:毁灭世界的神经网络激活函数!
机器学习中最具讽刺意味的命名莫过于GELU了。Jimmy Koppel 发现GELU作为激活函数在transformer架构中的主导地位与游戏卡牌中导致世界毁灭的角色名字Gelu巧合。这反映了人们对AI技术复杂态度,一方面推动发展带来便利;另一方面也可能引发潜在风险和伦理问题。
机器学习中最具讽刺意味的命名莫过于GELU了。Jimmy Koppel 发现GELU作为激活函数在transformer架构中的主导地位与游戏卡牌中导致世界毁灭的角色名字Gelu巧合。这反映了人们对AI技术复杂态度,一方面推动发展带来便利;另一方面也可能引发潜在风险和伦理问题。