请注意用词 - 语言模型的注意力

学习资料:

• 自然语言处理系列
• 代码教学

前面我们已经探索了人类说话的哲学，人类是怎么理解多样化的语言，人类又是如何将词语组成句子，用句子创造数以万计的意义。 Hello 大家好，欢迎回来，我是周沫凡。信息是复杂、繁琐、冗余的，化繁从简，是一项必不可少的工作。

我们都注意什么¶

“这台手机是一款性价比较高的千元入门机，拥有性能强劲的处理器、不过不支持红外NFC，随着这款机型的降价， 现在又变得香起来，对于你这种全面屏爱好者是个不错的选择，机身背面采取的是当下最流行的亮樱桃红色，建议购买4GB+64GB版本。” 大多数男生听到的“...千元入门机...强劲的处理器...不支持红外NFC..降价..全面屏... 4GB+64GB...”。 然后犹豫片刻，说：“好吧，虽然有些缺点，我还是选它吧。” 大多数女生听到的“....亮樱桃红色...”。然后清醒片刻，说：“樱桃红！买它。”

又或者，员工提供建议：“我觉得这样这样这样搞这件事情，结果肯定贼好。”， 老板说：“我不要你觉得，我要我觉得，你按照我昨天说的方法做”。 老板想的是：“我觉得...好呀，你小子又给我唱反调，看我之后怎么收拾你”。

我们怎么注意¶

人类天生就擅长于过滤筛选。因为这个时代信息量是指数级增长的，如果我们不刻意过滤掉一些对自己无用的信息， 我们将会成为一个垃圾填埋场，无法辨认什么才是对我们生活贡献最大的信息，什么信息又是能让我们活得更好的信息。 可见信息过滤的作用十分巨大。那我们又是如何挑选那些重要信息的呢？

当然，我们会注意到自己感兴趣的某个位置，如果将这个位置用热力图的方式呈现出来，你会看到， 人类的注意力是有限的，我们关注的是我们认为最能贡献信息量的信息。而为什么我们不能一心多用呢？ 或者为什么我们不能同时注意两个地方呢？这取决于我们的眼球构造。

你应该听说过视觉盲点，盲点是在视网膜上有很多神经连接和血管通路，这个点上没有感光细胞， 所以原则上是没有视觉信息的，不过我们的大脑很聪明，他们通过想象来补全这个失去的视觉信息， 所以你也不会觉得少看到了什么。而另外一个地方叫做黄斑，它是我们视神经比较丰富的地方， 也就是我们的注意力产生的点。为什么只有一个黄斑区呢？这也符合进化的有效资源利用原则， 在这个点上倾倒成像资源，仅在一个最为高效的光信号折射焦点上，获取高质量的视觉信息。 这就是为什么我们的注意力只有一个点，我们只能通过转动眼球来收集其他区域的重要信息。

机器的注意力¶

既然人类的注意力能够减少资源损耗，提高信息处理效率，我们为何不将它用在机器上呢？ 你还别说，近几年，有研究人员还真这么做了。而且还发现使用注意力的深度学习能更有效地找到关键信息， 构建信息与实体之间的联系。这次的重点不是自然语言理解吗？注意力能用在语言上吗？

自然语言模型注意力¶

当然也行，如果说在视觉上，机器可以注意到某一个区域，那么在语言上，就是注意到某一个或多个词汇。 如果我们的任务不同，这些注意力可能会想去获取不同区域的词汇。我们举个例子，还是前面的销售。

如果男生代表着一种属性的注意力模型，面对这样一长串销售语言，它注意到的就是关于性能和配置的信息。 你看，如果有了注意力，那么我们的生命是不是被节省了很多。这两个人类模型的目的可以是输出购买意向， 也可以是生成下一句回复销售的对话。我们就拿生成回复来细说一下模型是如何工作的吧。

因为男生的注意力太多，我想偷懒，我就挑个女生的来演示。首先模型得先通读一下这段文字，毕竟如果没有上下文的信息， 我们也不知道究竟要注意些什么。通读完之后，我们可以得到一个对于这句话的理解，熟悉AI的人应该知道这东西叫句向量。 单独靠一个句向量我们实际上是通过全局信息来生成对话，那么注意力是局部信息，我们可以将全局信息配合局部信息一起来生成每一个回复的词。 所以女生回复的“樱桃红”可以是注意到的“亮樱桃红色”这句销售话术，而“买它”则可能是注意到“千元”和“降价”促成的回复。 所以总结下来，深度学习的注意力，和我们人类的注意力生理机制也有那么异曲同工之处。不过人类的理解真的就是先获取到整体信息， 然后再用注意力获取的局部信息，然后整合整体和局部的结果吗？我们会在下一个视频中展开讨论。

Talk is cheap, show me the code， 我也有通过编程实现AI技术的开源分享，想进一步动手把玩AI的同学，请关注莫烦Python，进店免费享用吧。

自然语言处理系列