Daily Productive Sharing 1332 - Boring is good

One helpful tip per day:)

Scott Jenson 认为大语言模型事实上已经“黑入”了我们的社会协议，让人们误以为它们比实际更聪明：

1. 他的职业生涯给了她两条应对不确定性的教训：第一，技术总是往下流动；第二，我们通常一开始走的都是错路。
2. 早期工厂依赖河流获取水力，但发电机的出现让工厂摆脱了地理限制。
3. 最初，工厂只有一个大型发电机，需要复杂的滑轮系统把动力传递到整栋建筑，这使得生产流程非常复杂。
4. 随着发电机体积缩小、成本降低，工厂可以在多个位置安装发电机。这种变化比第一次更解放，因为它催生了装配线。动力开始适应生产流程，而不是流程去适应动力，从而带来生产力的巨大提升。
5. 他用这一历史转变来类比 1980 年代末的情况：从笨重的中央主机到小型桌面电脑，正是同样的模式——由大而集中转向小而分布。如今 LLMs 也正在经历这一过程。
6. 这些小型化的 LLM 被称为小语言模型（SLMs），它们在更小的数据集上训练，参数更少，并通过量化技术减少规模。
7. 尽管这些小模型的性能评分通常不如 OpenAI、Google 这样的大模型，看起来像“二等公民”，但这种看法是错误的。并不是说它们更强，而是我们问的问题不对。我们并不需要模型去考律师资格考试。
8. 就像最初的 iPod 从 180 克缩小到 12 克，并逐渐走向细分用途，LLMs 也会随着技术和市场成熟而发生巨大变化。
9. 随着人们对“幻觉”越来越厌倦，他们会发现，当 LLMs 专注于小而可预测的语言处理任务时，其真正的力量才会显现。
10. 他现在的做法是不断试验这些模型，观察它们如何“崩溃”，并找出它们可能的实际用途。
11. 写作的本质是为了理解，这通常意味着要写出大量糟糕的文字，再残酷地删掉。试图用 LLM 来“自动写作”完全跳过了这种必要的痛苦。
12. LLM 并不智能，而且永远不会智能。
13. 这让人们用错了方式：他们拼命想从上而下地自动化，而不是从下而上地增强。
14. 把两条教训结合起来，她认为我们最终会走向一个更高效但也更无聊的局面：SLMs 专注于底层语言任务。
15. 成熟的技术从来不像魔法，而是像基础设施：更小、更可靠、更无聊。
16. 我们的目标是解决问题，而不是追求“酷炫”。

If you enjoy today's sharing, why not subscribe

Need a superb CV, please try our CV Consultation

如果你喜欢的话，不妨直接订阅这份电子报 ⬇️