Transformer

揭秘Transformer‘注意力’机制的起源故事，它源于2014年实习生Dzmitry Bahdanau在Yoshua Bengio实验室中的实践思考与创新。通过软搜索设计解决了序列到序列模型中的瓶颈问题，最终提出RNNSearch架构，并引入softmax加权平均技术。