attention从人获取信息的角度来讲，就是人目之所见是不平等的，人的目光聚焦的地方是最关注的，而余光虽然在视野范围内，但是不会引起关注。 NLP中seq2seq解决序列到序列的问题，常常将源序列编码为一个固定的向量，当解码时，无论当前输入是什么都使用这个固定的编码向量合并解码。 因此，解码时对编码上下文无差别处理，效果不佳，考虑了太多无关的信息。 因此提出带attention的seq2seq，从此，编码状态作为K，V，解码时输入作为Q，通过计算attention，得到一个加权的状态，这个状态是与当前输入更相关的编码信息，其中可能忽略了一些不重要的信息。 transformer 引入self-attention，不在需要串行的计算，而是一次并行计算就可以得到输入词元间互相的注意力分数。

27:40