Daily Productive Sharing 1335 - The Bitter Lesson
One helpful tip per day:)
强化学习之父 Rich Sutton 在2019年就揭示了算力即一切的道理：
- 从 70 年的人工智能研究中得到的最大教训是：利用算力的方法最终是最有效的，而且优势巨大。
- 为了在短期内看到改进，研究人员往往试图利用自己对领域的人类知识，但从长期来看，唯一重要的是能否利用算力。
- 基于人类知识的方法往往会让方法复杂化，使其不适合利用那些依赖算力的一般方法。
- 在人工智能研究中，搜索和学习是两类最重要的技术，用来发挥海量计算的作用。
- 另一边是更新的统计类方法，它们基于隐马尔可夫模型（HMM），需要更多计算。结果依然是统计方法战胜了基于人类知识的方法。
- 这导致整个自然语言处理领域在数十年间发生重大转变，逐渐由统计和计算主导。
- 深度学习方法更少依赖人类知识，更多依赖计算，并结合大规模训练数据，从而大幅提升了语音识别系统的表现。
- 现代深度学习神经网络只利用卷积和某些不变性的概念，但性能却显著更好。
- 我们必须吸取这个苦涩的教训：在系统中强行植入我们自以为的“思维方式”，从长远看是行不通的。
- 最终的成功带有一丝苦涩，且常常难以完全接受，因为它意味着战胜了我们偏爱的、以人为中心的方法。
- 这个教训的一点是：通用方法的巨大力量在于，它们能随着计算能力的增长而持续扩展，即使计算资源极为丰富也依然如此。其中最具扩展性的两种方法是搜索和学习。
- 另一个要点是：人类心智的内容极其复杂，无法被简单归纳。我们应该停止寻找简单方式去理解心智的内容，比如空间、物体、多主体或对称性的简化模型。
- 我们需要的人工智能代理，应当具备像人类一样去发现的能力，而不是仅仅承载我们已经发现的东西。
如果你喜欢的话，不妨直接订阅这份电子报 ⬇️
