“注意力”是智能的本质吗？从 Bahdanau 到 Transformer 的溯源

Is 'Attention' the Essence of Intelligence?

2014年，蒙特利尔大学实习生 Dzmitry Bahdanau 与 Yoshua Bengio、Kyunghyun Cho 提出“注意力”机制，让神经网络翻译长句的效果与短句相当，从而具备可扩展性。