一个人”会学习“=他”善于压缩信息” - 从模型训练视角的理解

我家儿子 3 岁时，迷上了模仿游戏。有一天，我假装生气叉腰走开，他立刻学我生气叉腰走开，像模像样十分有趣。不过这个简单的模仿行为让我不禁思考：模仿本质上是一种数据无损搬运，并不是一种深度思考后的学习过程。类似的抄单词，死记硬背这类的学习过程和模仿并无差异，所以不算真正的学习。

那么看透“会学习“的本质，才能让我从“模仿式学习”升级到“理解型学习”！

我十分熟悉 AI ，见证了 AI 从复制知识，到应用知识的过程。为什么我标题说：学会学习=善于压缩信息？这两个看似不相关的描述，其实背后有着深刻的联系。现在，我们就从 AI 模型训练的视角，探讨一下模型的”压缩式学习“，并最终应用这种技巧到自己的学习中。

熟悉 AI 的朋友应该见过各式各样的模型结构。你们有没有发现很多神经网络模型的设计往往是两头大中间小？

从自编码模型瞥见”压缩学习“的优势¶

自编码器（Autoencoder）是一种神经网络模型，它的结构特点是输入层和输出层的神经元较多，而中间的隐藏层神经元较少。这种设计的目的，正是为了强迫模型压缩信息。

想象一下，如果1G的数据信息要从输入传递到输出，每层信息传递的通道大小一样，那么信息可以完全无损地一个字节一个字节被copy过去。神经网络也不需要理解你那1G的信息有些啥，照搬就好。

但如果是两头大中间小的结构，中间没法让你直传1G数据，你得想办法把源数据压缩了，然后再在输出端解压出来。在这个过程中，模型得学会在这1G的数据中，丢弃什么，保留什么。解压时得从更少的信息中，还原出所有信息量来。通过这种模式的模型训练，模型才在它的权重中训练出了对源信息的理解能力。

清华大学的半开卷考试：压缩学习的实践

我们生活实际中也有压缩学习的案例。清华大学有一种半开卷考试，允许学生带一张A4纸进考场，但要求他们把书本知识压缩到这张纸上。

这种做法，本质上也是一种信息压缩的学习方法。学生们必须在有限的空间内，提炼出最重要的知识点，建立知识之间的链接。和 两头大中间小 的模型一样，迫使我们将书本知识（大）压缩成 A4 纸（小），然后再利用 A4 纸解压出知识去考试作答（大）。

两头大中间小的结构在模型中无处不在

神经网络之父Hinton曾提到，大语言模型的体积和链接数是有限的，因此它只能将知识压缩、提炼、找到关联并存储到权重中。这种压缩和提炼的过程，正是迫使模型主动去“理解”知识，将知识关联在同一个网络连接的关键。

在大语言模型 GPT，扩撒模型 SD，生成对抗模型 GAN，UNet 等等，都能找到这样类似的两头大中间小的强迫性信息压缩结构。可以说，算法研究者们正在应证 AI 的学习方法就是一种“压缩学习”的方法。

有兴趣的同学可以再去搜搜机器学习的 “潜空间 Latent Space” 这个关键词，模型潜空间的形成，就是模型训练出排除信息中噪声数据，能对源数据的本质特征做提炼的模式。

类比人类，潜空间可以被认为是人类对不同事物共性认知的空间。

那么我们要怎样学习？¶

既然我们已经从AI模型的视角理解了“会学习”的本质是“善于压缩信息”，那么接下来，我们该如何将这一洞察应用到自己的学习过程中呢？以下从我自身实践经历中提炼出的实用建议，帮助你从“模仿式学习”升级到“理解型学习”。

1. 用自己的话总结

用上文提到的 A4 纸总结模式。每学一本新书或新章节时，即使书中有现成的总结段落，也不要照着抄。强迫用自己的话进行压缩和总结。

这种提炼过程，本质上是对信息的压缩和重构。它迫使你主动思考哪些信息是核心，哪些是冗余的，从而形成对知识的深度理解。

2. 建立知识之间的关联

压缩信息的另一层含义是找到不同知识之间的关联。AI模型通过压缩信息，将看似不相关的数据点链接在一起，形成潜空间中的抽象表示。同样，我们在学习时，也应该尝试将不同领域的知识联系起来。

例如，学习物理时，可以思考它与数学的关系；学习经济学时，可以结合心理学和社会学的视角。这种跨学科的关联不仅能够加深理解，还能激发创造性的思考。（有空再写一篇关于我”迁移学习“的实战方法）

3. 从被动接收转为主动输出

AI模型在压缩信息的过程中，不仅仅是接收数据，还需要通过训练不断调整自己的权重，以更好地表达信息。同样，我们在学习时，只有主动“输出”后得到反馈，你才能在你的“潜空间”修正完善你的认知体系。

输出可以是写一篇总结文章、绘制一张思维导图，或者向他人讲解所学内容。通过输出，你可以检验自己是否真正理解了知识，同时也能进一步压缩和提炼信息。

5. 培养“潜空间”思维

潜空间是AI模型对信息进行抽象和提炼的结果，它代表了模型对数据的本质理解。同样，我们在学习时，也应该培养一种“潜空间”思维，即透过现象看本质。

例如，在学习一门语言时，不要仅仅记忆单词和语法，而是多耗些脑力尝试理解语言背后的逻辑和文化；在学习艺术时，不要仅仅模仿技巧，而是多耗些脑力思考艺术表达的情感和思想。

你会发现透过现象看本质总是需要更多的脑力消耗，也总是能让你印象更深刻。

结语¶

“会学习”不仅仅是记忆和模仿，而是一种对信息的深度压缩和提炼。通过借鉴AI模型的“压缩式学习”方法，我们可以从被动的“模仿式学习”升级到主动的“理解型学习”。这不仅能够提高学习效率，还能帮助我们更好地掌握知识的本质，从而在复杂多变的世界中游刃有余。

所以，下一次当你面对大量信息时，不妨问问自己：我该如何压缩这些信息？我该如何提炼它们的核心？当你开始用这种思维方式去学习时，你会发现，学习不再是负担，而是一种充满乐趣的探索过程。