刚睡到11点半起床，看到个推

Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes
压缩过程驱动：简单道理解释 美、新颖、意外，趣味、关注、好奇、创意，艺术、科学、音乐和笑话 的基本面
https://arxiv.org/abs/0812.4360

这个副标题听上去就很带劲儿，这么大文科味儿的东西怎么就能被「压缩」给解释了，那么多主观的东西，就这？正如 Musk 说的：

Schmidhuber invented everything 尤根早就发明了当前AI的everything！

Juergen Schmidhuber 是 LSTM 的发明人。LSTM 是一种AI技术能长时间理解上下文，能处理复杂时间序列，解决了早期 RNN “记忆很快消失”的根本问题，这才让“听懂一句完整的话”成为可能。而且他做出这个研究是在 1997 年！

于是赶紧拜读一下这篇大作。它这个说法，大框架来说有4个要点：

1. Store everything。人脑通过感知记住这个世界。客观的说把所有细节和时间顺序都记住不可能，人脑没那么大容量。所以必然有个「编码」的过程
2. Improve subjective compressibility。发现规律，比如前天昨天做了一样的一堆事，你就只记一遍。而且你大脑很可能会预今天会不会依然做这一堆同样的事呢？
3. Let intrinsic curiosity reward reflect compression progress。大脑会回味然后优化这些重复的记忆。优化的意义在于如何用最小的存储成本记住最多的事
4. Maximize intrinsic curiosity reward。如果你用最简单的编码记住了最多的事，你的好奇心会非常满足。比如“牛马”两字就总结了你这几天的生活。

Juergen说上面这个框架可以概括所有「好奇」和「创意」系统。这个系统有很多副产品：

1. Symbols 符号。压缩得足够厉害，很多过程和概念就成了一个符号。
2. Consciousness 意识。压缩体自身，作为一个符号，即为意识。
3. Beauty 美。作者拿「平均脸」作为比喻。人一辈子要记住很多脸，如果一张新面孔最接近「平均脸」不需要额外费劲去理解，那么它就是美。我只能说这个角度很刁钻。但是好想又缺了什么。
4. Interestingness 趣味。定义为学习曲线的陡峭程度。它甚至还发明了个公式，有趣程度等于 美 对 时间的一阶导数。
5. 作者这里区分了第三点 的「美」是针对没见过的东西的评价，而不是回味的「美」。比如冬天洗一个热水澡总是一件美事，但是是已经经历过的。
6. Novelty & Surprise 新颖和意外。大脑遇到个没法用已知方法「压缩」的东西，才叫惊喜！
7. Attention / Curiosity 注意力和好奇。人脑有两种无聊，一种是已经压缩过的，一种是想尽办法都不能压缩的。抛开外部奖励不说，真正内驱力的兴趣来自于对第4点和第6点的最大化。你能不能用一个更简单的角度去理解一个数学公式？
8. Discoveries 发现。大型压缩被称之为「发现」，比如从托勒密的本轮 均轮改进成一个平方距离公式。
9. 超越无监督学习。传统的「模式识别」还是低了一个档次。我觉得这就是 Juergen 发明 meta-learning 的出发点？
10. Art 艺术。抛开社会装B需求不说，艺术和音乐好玩之处在于「pattern」。好的艺术可以让你发现以前没联系起来的东西，然后大脑能更深入的理解，也就是压缩(art as an eye-opener)，然后已知的东西也就逐渐变得无聊。
11. Music 音乐。你永远好奇一组音符的 下一个 会是什么。
12. Paintings, Sculpture, Dance, Film 绘画，雕塑，舞蹈，胶片。你是否好奇下一组动作是什么？
13. Ideal Ratio 已知和未知的比例，不是固定的。
14. 创意者和欣赏者 界限的模糊。作者认为被动观看艺术也是一种创意。一部分艺术家是外部激励驱动的，比如金钱和名气，但另一部分是是好奇心和创意驱动的。
15. 艺术和科学的相似：都是用更简单的规律去描绘更宏大的世界。艺术也是用一个小局部让你脑补很多背后的故事
16. Jokes 笑话。笑话就是一系列复杂冲突的精简版。

Beauty, in this framework, is recognizable compression progress. A painting, a symphony, a theorem, a punchline all trigger a sudden “Aha!” of re-encoding the data more efficiently than before.
The observer literally rewrites its internal model of the world in a simpler, more elegant form. The emotional spike we feel is the direct consequence of that rewriting.

读完之后，我感觉。。。挺民科的，但是又似乎没啥大毛病。或许情绪和主观，就是人脑内在的一个激励机制？Juergen能把这么多乱七八糟的事都归纳到「压缩」上面也是挺能干的。

要知道，那可是他90年代就想明白的事。