18 Mar 2023 9 min read DPS

DPS 周刊 88 - 疯狂的 AI 进化

过去的这一周，整个 AI 界的变化实在太快：

上周五，Georgi Gerganov 写了一个 C 语言版本的 LLaMA 接口，让 Meta 公布的 LLaMA 模型在单机上就能跑起来。然后各路人马纷纷摩拳擦掌，陆续有人在 Raspberry Pi 4 上，Pixel 6 上跑了起来。

等到周日晚上，有人有用 Javascript 做了封装，一键使用 npm 就能安装。

到了13号，斯坦福开源了 Alpaca ，也就是把类似 OpenAI 的 GPT 类模型的架构和整条工具链都开源了。有人估算了一下，利用这一工具，只要花600美金，就能训练出类似 GPT-3 效果的模型。

到了14号，OpenAI 发布了 GPT-4 模型，连这个模型的技术报告都用到了 GPT-4 来修订，感觉像条衔尾蛇。同一天稍早的时候，Google 发布了自己 PaLM API。

到了16号，微软开了产品发布会，围绕 ChatGPT 和 Power 360 展开。也就是说，只要用了微软的产品套装，结合用户自己的数据，就能利用 ChatGPT 大大提高生产力。也在同一天，MidJourney 正式发布 v5 版本，比前一代更为优秀。

我也没闲着，拿起了 ChatGPT API 开始捣鼓起来。我零开始开始读文档，到写出一个 Q&A 生成的项目，只花了半天时间。放在以前，至少要花一两个月的时间吧。在这基础上进步一步改进，利用 ChatGPT API，结合自己的语料库给出特定领域的答案。试了两个方案，其中一个还不错。

💡

我们未来的 AwesomeVisa 就会有这一功能，让 ChatGPT 来解答关于签证申请的问题。如果你想尽早尝试这一功能的话，不妨订阅我们的 Exodus 电子报。上线后，所有付费订阅用户将可以免费使用这一功能。

近来阅读工具的变化：

RSS 阅读：Reader by Readwise 取代了 Inoreader + Reeder 的组合 — Reader 的 RSS 阅读设计很有意思，把所有新文章归类到新文章下，不再对文章来源做明显区分。阅读时的高亮会自动同步到 Readwise 里，方便之后回顾。

稍后阅读：Reader by Readwise 取代了 Goodlinks — 原来看到长文章，会随手存到 Goodlinks 里，打上标签，然后有时间再阅读。现在都是直接存到 Reader 的 inbox 里。

新文章发现：Refind+ Twitter 取代了 Matter — Refind 是近来发现的一款新工具，非常好用；重新捡起 Twitter app 之后，发现首页的 For You 推荐做得非常不错。

Recap

最近和朋友聊天，偶然得知新加坡于2020年推出了一个专门针对科技人才的签证 -- Tech.Pass。每年只有限量500个名额，先到先得，可谓十分金贵。

Exodus 2.20 - 最详尽的新加坡 Tech.Pass 申请指南

Arun Venketesan 介绍了自己如何最小限度地使用 Slack：

Slack 可以灵活地接入各种服务，让用户自己定义如何使用它，这是它最大的优点，也是它最大的缺点；
很多会议邀请都在 Slack 上发起，要想提高效率，需要使用单独的日程管理工具，而不是依赖 Slack；
他每天只打开两次 Slack，集中回复消息；
他只在电脑上使用 Slack；
每月定期清理无关的消息频道；
使用 pull 的策略来消化 Slack 的消息，而不是 push。

Mark Manson 推荐了十二本理财读物，包括所有人都听说过的《穷爸爸，富爸爸》。当然也有这几年新推出的 I Will Teach You to be Rich，Your Money or Your Life，The Millionaire Fastlane 等畅销书。不过 Morgan Housel 的 The Phycology of Money 并不在其中，其实这本书也非常棒！

Intelligent Investor
Your Money or Your Life
A Random Walk down Wall Street
Fooled by Randomness
Rich Dad, Poor Dad
The Richest Man in Babylon
I Will Teach You to be Rich
The Millionaire Next Door
Irrational Exuberance
The Essays of Warren Buffett
Liar’s Poker
The Millionaire Fastlane

Nathan Baschez 分享了他多年来的网络写作经验：

每一篇文章都有 thrust 和 drag: thrust 是让文章吸引读者的地方，比如创意，道理等等；而 drag 是文章不吸引人的地方，比如各种拼写错误，各种事实错误等等。
要想一篇文章被广泛传播，就要让 thurst 尽可能超过 drag。
什么是读者想知道的？这是一篇文章最难的地方，如果能解决这一问题，就不怕文章不被传播。
如果你想让读者坚持读你的文章，那么你的文章就要尽可能的深刻。
与其找到符合读者期望的点子，不如找到让你自己好奇的问题，这样更容易坚持。
为了让文章更加深刻，在打草稿阶段，我们就要问自己，这篇文章要回答一个什么样的中心问题？
写作中最常见的错误就是突然转折，而没有任何承接。
获得读者的反馈也非常重要，Nathan 设置了 ABCD 四个选项让读者选择：1. Awesome 2. Boring 3. Confusing 4. Disagree/don’t believe
设置写作死限是一个很好的动力来源，而创建一个定期发布的邮件列表就是一个很好的选择。

OpenAI 在这篇文章中用通俗易懂的语言介绍了他们如何构建 ChatGPT 的底层模型：

首先他们让标注者回答一些问题，把这些问题和回答拿去迭代 GPT-3 模型；
然后他们让模型给一个问题生成若干答案，让标注者给这些答案打分。利用这些数据，他们训练了一个 reward 模型；
然后他们让第一步迭代后的模型根据问题生成新的答案，然后利用第二步中的 reward 模型进行打分。也就是两个模型形成了对抗，用强化学习进一步迭代第一步中的模型。