记忆与深度学习的关系

作者: 莫烦 编辑: 莫烦 2020-02-24

不知道你有没有像我一样,前几分钟听到看到的东西,很可能就在后几分钟之类,忘了差不多50%。特别是我在互联网行业工作了几年, 切身体验到信息轰炸的威力。每天起床,看到微信里就是各种公众号向我推荐的几十篇文章,频繁地刷抖音,10分钟就能浏览过30段不同的短视频。 成千上万的信息朝我汹涌而来,我想全部接住,但也无能为力。

于是我开始思考什么才是我真正关心的,我想要记住的。然后我需要怎样做才能留下长久记忆。接下来的探索,让我发现, 有很多概念与深度学习有着异曲同工之处。所以我才想把这些想法写下来,留作未来的参考。

信息轰炸

2020年,是一个APP就想给我推送消息,以前的朋友有些做了生意/代购,朋友圈里的小红点一直就没有消停过。 我是一个特别厌恶被杂乱信息打扰的人,所以我屏蔽了95%的推送,取消了红点提示。下面这张图就是我的微信发现页, 我就只保留了一天大概只看一次的朋友圈,保留视频号的原因也只是我想了解张小龙想怎么推进视频号, 可能也就一周看一次,但是我还是很讨厌它上面那个红点提示。

my wechat

其他的通知源也被我逐一的优化,能最终在我的手机上弹出通知的,可能也就是验证码,微信,闹钟了。这只是有效记忆的第一步-过滤繁杂信息

记忆增强

想多记得点东西,那就睡觉吧。 你还别说,睡觉真的是增强记忆的重要手段。《Why We Sleep: Unlocking the Power of Sleep and Dreams》 这本书中有详细参数这样的观点。如果想偷懒,这个TED科普中Hacking your memory with sleep用比较好的动画展示了睡眠与记忆的关系。

brain

我白天学习如何做出又好看又实用的Rethink,这些记忆可能都只是暂存在我的海马体中。就是图中脑部中下方的那个东西。 之前有一个非常特别的病例,1957年一个叫H.M.的病者因为癫痫,他的海马体被切除了,接着他就失去了形成新的成熟性长期记忆的能力。 这个研究也推动了脑科学中对于记忆的研究。

研究表明海马体主要是收集新的记忆,就好像你把工作电脑中的文件拷到了U盘当中或者说是编码进你的脑神经系统。 等到了晚上睡觉进入到快速眼动期, 我的大脑开始带着我这个U盘进入了我大脑的数据中心 - 长期记忆存储地 - 大脑皮层。这时短期记忆被转移至长期记忆。

甚至,当你做梦的时候,也是一种学习,研究发现大脑会不断 重放 - Replay 这一段被编码的记忆 (在强化学习中,也有记忆库和replay)。 科学家记录了小白鼠白天走迷宫的脑神经活动, 睡觉时,科学家发现这些脑神经被不断地激活, 而且重放的速度大约是清醒时的10倍(这是不是意味着我们做梦的速度比现实发展速度更快,记得盗梦空间里有这一段)。而这种重放机制, 其实就是在你大脑中刻画新的神经链接,形成新的记忆,不断的重放,也意味着它在不断地强化。

我在 睡眠与学习 中会有更加具体的分析和拆解。

模型迭代与记忆重放

这让我思考是否可以类比 深度学习当中的迭代过程,虽然在基础理论上不太相同,一个是用Gradient来不断更新神经网络模型的链接中的参数(我就把这个参数链接叫做认知吧)。 上一段讨论到,人类在睡眠中,也存在不断重放的过程。

bp

  • 深度学习模型:不断迭代更新网络参数
  • 人脑:不断重放强化新的脑神经链接

至少在我看来这真的很像,只是他们的迭代和重放的trigger不太一样,一个是预测值和真实值的误差,一个是短时记忆与长期记忆的迁移过程。

人和模型还有一点很大的不同,人脑形成新的神经连接后,是嵌入到以前的记忆链接中的,这也更新了以前的某些相关联的记忆。所以说如果你生活中遇到什么问题, 说不定睡一觉,醒来就会有答案了。

广泛or专业学习

有一个TED科普 Why specializing early doesn't always mean career success | David Epstein 中描述了 广泛学习 能让我们更快速地学习到新技能,新知识。

wick wick

其中举了这样一个例子。有两批人,一批是在某一个乐器上的专业演奏者,一批是多种乐器都接触过,玩得很杂的业余者,让他们再接着学习新的几种乐器。 结果发现,业余着会花很多时间学习第一个新乐器,但是他们能花更少时间学习其它乐器,甚至,当学到第三种乐器时,业余者可以花比专业者更少的时间学习。

这种情况不仅仅发生在学习乐器上,在学校教育里也存在,如果孩子入大学前什么都尝试过,比那些只在某个专项向上努力的学生,学习新事物的时间要少很多。

罗森茨威格 也做出了一个白鼠实验(我没有找到原文,但是 丰富的经历 = 更大的大脑? 可以搜到一些结论), 分批让白鼠生活在信息单一匮乏和信息丰富的环境中,结果发现丰富环境成长的老鼠大脑皮层更厚更重,乙酰胆碱的酶更具活性, 神经元两者数量无差别,但是丰富环境老鼠神经元更大。广泛学习也可以认为是这样的丰富信息的环境。

如果回到脑结构上,我们往远了思考, 广泛学习,必定会构建一个更加复杂庞大且有效的神经链接网络,而这个网络中存在更多事物之间的共通性,毕竟他们要节约链接数, 也意味着不同事物可能会共用一些链接,这使得广泛学习者对于新的类似的事物能更快速的构建链接,加入到这个已经存在的网络里。 而专业学习者,他们的技能可能更加独立,链接系统也可能独立起来,更加难找到事物的共通性。

所以,我认为广泛学习,找到事物的本质和共通性才是我们真正应该追求的。 我在 寻找本质 中更加具体地阐述了我是如何利用这个想法,发现生活中的本质的。

通用编码器

有了对广泛学习和专业学习的讨论,我想再回到我擅长的深度学习上。我会发现, 对于事物的理解非常像 AutoEncoder 系统中的 Encoder Decoder 概念。 广泛学习者一直是在训练一个庞大的Encoder,这个Encoder可以理解,编码不同种类的信息,能够进行深度类比和找到事物本质的信息。 训练出一个万能通用Encoder,可以大大减轻Decoder的学习压力,这也是为什么上面提到的广泛学习者,能快速学习多种不同任务的原因了。

encoder decoder

换句话讲,广泛学习者利用更多的Decoding任务,花了更多时间在学习一个通用Encoder。如果Decoding任务足够多, Encoder就更通用,新的Decoding任务学起来就更简单。

而专业学习者,更像是学着多个不同的Encoder,所以他们单个Encoder特别的强,而不具备通用性。

我在 通用解码器 中会更详细的分析这种观点。

你看,我说了我喜欢挖掘一些深度学习比较本质的东西,这不就是一个吗。以后我对于Encoder-Decoder就会有另一种解释了~ 什么迁移学习,多任务学习,多模态学习还不都是这个原理。

记忆的覆盖与重构

我再从全局观察一下,想要记忆的第一步,就是过滤多余信息,让脑袋的负载没那么大。当新信息不断地进入长期记忆中, 我们的神经网络系统将会不断创造新的连接,如果新信息与长期记忆中的旧信息之间是有关系的,那我们原本的网络系统很可能就会被覆盖或者重构。 这样的好处就是将新信息安好家,找到了一个同兴趣的社区,但是坏消息也有,被重构的网络可能改变原有的记忆, 这时记忆应该就出现了混淆或者遗忘(我还没找到实验依据,等我找到再打reference)。

所以遗忘是有它的合理性的。 大自然最擅长的是充分利用资源,效率最大化的运转事物。每一种动物的大脑都有着不一样的容积,蚂蚁为什么没有像人一样大的大脑? 答案是没必要,用不了那么多。同样,我们人的大脑为什么不再长大一点?答案是更大的大脑消耗更多的资源,目前我们的大脑最适合人作为人类所消耗的资源量。

在有限的大脑容积内,怎么样可以有效地利用这些脑神经链接,更有利于我们活下去? 我认为是我们的大脑学会了 复用 这些神经链接(上文提到的通用Encoder)。 如果某些东西可以在多种场景下,实现复用,那这东西的价值肯定高,效率也不差。

所以本质上来说,我们并没有忘记,而只是之前的神经连接方式变了, 记忆也就出现了变化,有的记忆因原本的链接方式变化而改变,也有的记忆甚至因这场改变而消失了。 但这场变化也有好的一方面,多个记忆的共同部分因为重复被激活,他们的链接也可以被加强。我把它称为事物的共通性被重构加强了

对我的影响

对我的影响肯定是巨大的,在今后的生活学习中,我就会依据上面的这些思考,跟随下面这些原则:

  1. 坚持广泛学习,不排斥新领域的新知识;
  2. 不熬夜,多睡觉(这点我依旧是打脸的...);
  3. 多将新的知识归纳总结到原有的知识体系中(Rethink就这样诞生了)

希望看到这篇文章的朋友共同进步吧。


降低知识传递的门槛

莫烦很常从互联网上学习知识,开源分享的人是我学习的榜样。 他们的行为也改变了我对教育的态度: 降低知识传递的门槛免费 奉献我的所学正是受这种态度的影响。 通过 【赞助莫烦】 能让我感到认同,我也更有理由坚持下去。