请注意用词 - 语言模型的注意力
切换视频源:

请注意用词 - 语言模型的注意力

作者: 莫烦 编辑: 莫烦 发布于: 2020-11-19

学习资料:

前面我们已经探索了人类说话的哲学,人类是怎么理解多样化的语言,人类又是如何将词语组成句子,用句子创造数以万计的意义。 Hello 大家好,欢迎回来,我是周沫凡。信息是复杂、繁琐、冗余的,化繁从简,是一项必不可少的工作。

我们都注意什么

“这台手机是一款性价比较高的千元入门机,拥有性能强劲的处理器、不过不支持红外NFC,随着这款机型的降价, 现在又变得香起来,对于你这种全面屏爱好者是个不错的选择,机身背面采取的是当下最流行的亮樱桃红色,建议购买4GB+64GB版本。” 大多数男生听到的“...千元入门机...强劲的处理器...不支持红外NFC..降价..全面屏... 4GB+64GB...”。 然后犹豫片刻,说:“好吧,虽然有些缺点,我还是选它吧。” 大多数女生听到的“....亮樱桃红色...”。然后清醒片刻,说:“樱桃红!买它。”

又或者,员工提供建议:“我觉得这样这样这样搞这件事情,结果肯定贼好。”, 老板说:“我不要你觉得,我要我觉得,你按照我昨天说的方法做”。 老板想的是:“我觉得...好呀,你小子又给我唱反调,看我之后怎么收拾你”。

我们怎么注意

人类天生就擅长于过滤筛选。因为这个时代信息量是指数级增长的,如果我们不刻意过滤掉一些对自己无用的信息, 我们将会成为一个垃圾填埋场,无法辨认什么才是对我们生活贡献最大的信息,什么信息又是能让我们活得更好的信息。 可见信息过滤的作用十分巨大。那我们又是如何挑选那些重要信息的呢?

当然,我们会注意到自己感兴趣的某个位置,如果将这个位置用热力图的方式呈现出来,你会看到, 人类的注意力是有限的,我们关注的是我们认为最能贡献信息量的信息。而为什么我们不能一心多用呢? 或者为什么我们不能同时注意两个地方呢?这取决于我们的眼球构造。

nlp

你应该听说过视觉盲点,盲点是在视网膜上有很多神经连接和血管通路,这个点上没有感光细胞, 所以原则上是没有视觉信息的,不过我们的大脑很聪明,他们通过想象来补全这个失去的视觉信息, 所以你也不会觉得少看到了什么。而另外一个地方叫做黄斑,它是我们视神经比较丰富的地方, 也就是我们的注意力产生的点。为什么只有一个黄斑区呢?这也符合进化的有效资源利用原则, 在这个点上倾倒成像资源,仅在一个最为高效的光信号折射焦点上,获取高质量的视觉信息。 这就是为什么我们的注意力只有一个点,我们只能通过转动眼球来收集其他区域的重要信息。

机器的注意力

既然人类的注意力能够减少资源损耗,提高信息处理效率,我们为何不将它用在机器上呢? 你还别说,近几年,有研究人员还真这么做了。而且还发现使用注意力的深度学习能更有效地找到关键信息, 构建信息与实体之间的联系。这次的重点不是自然语言理解吗?注意力能用在语言上吗?

自然语言模型注意力

当然也行,如果说在视觉上,机器可以注意到某一个区域,那么在语言上,就是注意到某一个或多个词汇。 如果我们的任务不同,这些注意力可能会想去获取不同区域的词汇。我们举个例子,还是前面的销售。

如果男生代表着一种属性的注意力模型,面对这样一长串销售语言,它注意到的就是关于性能和配置的信息。 你看,如果有了注意力,那么我们的生命是不是被节省了很多。这两个人类模型的目的可以是输出购买意向, 也可以是生成下一句回复销售的对话。我们就拿生成回复来细说一下模型是如何工作的吧。

因为男生的注意力太多,我想偷懒,我就挑个女生的来演示。首先模型得先通读一下这段文字,毕竟如果没有上下文的信息, 我们也不知道究竟要注意些什么。通读完之后,我们可以得到一个对于这句话的理解,熟悉AI的人应该知道这东西叫句向量。 单独靠一个句向量我们实际上是通过全局信息来生成对话,那么注意力是局部信息,我们可以将全局信息配合局部信息一起来生成每一个回复的词。 所以女生回复的“樱桃红”可以是注意到的“亮樱桃红色”这句销售话术,而“买它”则可能是注意到“千元”和“降价”促成的回复。 所以总结下来,深度学习的注意力,和我们人类的注意力生理机制也有那么异曲同工之处。不过人类的理解真的就是先获取到整体信息, 然后再用注意力获取的局部信息,然后整合整体和局部的结果吗?我们会在下一个视频中展开讨论。

Talk is cheap, show me the code, 我也有通过编程实现AI技术的开源分享,想进一步动手把玩AI的同学,请关注莫烦Python,进店免费享用吧。

自然语言处理系列


降低知识传递的门槛

莫烦经常从互联网上学习知识,开源分享的人是我学习的榜样。 他们的行为也改变了我对教育的态度: 降低知识传递的门槛免费 奉献我的所学正是受这种态度的影响。 【支持莫烦】 能让我感到认同,我也更有理由坚持下去。

我组建了微信群,欢迎大家加入,交流经验,提出问题,互相帮持。 扫码后,请一定备注"莫烦",否则我不会同意你的入群申请。

wechat

    有趣的机器学习