DPS 周刊 88 - 疯狂的 AI 进化
过去的这一周,整个 AI 界的变化实在太快:
上周五,Georgi Gerganov 写了一个 C 语言版本的 LLaMA 接口,让 Meta 公布的 LLaMA 模型在单机上就能跑起来。然后各路人马纷纷摩拳擦掌,陆续有人在 Raspberry Pi 4 上,Pixel 6 上跑了起来。
等到周日晚上,有人有用 Javascript 做了封装,一键使用 npm 就能安装。
到了13号,斯坦福开源了 Alpaca ,也就是把类似 OpenAI 的 GPT 类模型的架构和整条工具链都开源了。有人估算了一下,利用这一工具,只要花600美金,就能训练出类似 GPT-3 效果的模型。
到了14号,OpenAI 发布了 GPT-4 模型,连这个模型的技术报告都用到了 GPT-4 来修订,感觉像条衔尾蛇。同一天稍早的时候,Google 发布了自己 PaLM API。
到了16号,微软开了产品发布会,围绕 ChatGPT 和 Power 360 展开。也就是说,只要用了微软的产品套装,结合用户自己的数据,就能利用 ChatGPT 大大提高生产力。也在同一天,MidJourney 正式发布 v5 版本,比前一代更为优秀。
我也没闲着,拿起了 ChatGPT API 开始捣鼓起来。我零开始开始读文档,到写出一个 Q&A 生成的项目,只花了半天时间。放在以前,至少要花一两个月的时间吧。在这基础上进步一步改进,利用 ChatGPT API,结合自己的语料库给出特定领域的答案。试了两个方案,其中一个还不错。
近来阅读工具的变化:
RSS 阅读:Reader by Readwise 取代了 Inoreader + Reeder 的组合 — Reader 的 RSS 阅读设计很有意思,把所有新文章归类到新文章下,不再对文章来源做明显区分。阅读时的高亮会自动同步到 Readwise 里,方便之后回顾。
稍后阅读:Reader by Readwise 取代了 Goodlinks — 原来看到长文章,会随手存到 Goodlinks 里,打上标签,然后有时间再阅读。现在都是直接存到 Reader 的 inbox 里。
新文章发现:Refind+ Twitter 取代了 Matter — Refind 是近来发现的一款新工具,非常好用;重新捡起 Twitter app 之后,发现首页的 For You 推荐做得非常不错。
Recap
最近和朋友聊天,偶然得知新加坡于2020年推出了一个专门针对科技人才的签证 -- Tech.Pass。每年只有限量500个名额,先到先得,可谓十分金贵。
Exodus 2.20 - 最详尽的新加坡 Tech.Pass 申请指南
Arun Venketesan 介绍了自己如何最小限度地使用 Slack:
- Slack 可以灵活地接入各种服务,让用户自己定义如何使用它,这是它最大的优点,也是它最大的缺点;
- 很多会议邀请都在 Slack 上发起,要想提高效率,需要使用单独的日程管理工具,而不是依赖 Slack;
- 他每天只打开两次 Slack,集中回复消息;
- 他只在电脑上使用 Slack;
- 每月定期清理无关的消息频道;
- 使用 pull 的策略来消化 Slack 的消息,而不是 push。
Mark Manson 推荐了十二本理财读物,包括所有人都听说过的《穷爸爸,富爸爸》。当然也有这几年新推出的 I Will Teach You to be Rich,Your Money or Your Life,The Millionaire Fastlane 等畅销书。不过 Morgan Housel 的 The Phycology of Money 并不在其中,其实这本书也非常棒!
- Intelligent Investor
- Your Money or Your Life
- A Random Walk down Wall Street
- Fooled by Randomness
- Rich Dad, Poor Dad
- The Richest Man in Babylon
- I Will Teach You to be Rich
- The Millionaire Next Door
- Irrational Exuberance
- The Essays of Warren Buffett
- Liar’s Poker
- The Millionaire Fastlane
Nathan Baschez 分享了他多年来的网络写作经验:
- 每一篇文章都有 thrust 和 drag: thrust 是让文章吸引读者的地方,比如创意,道理等等;而 drag 是文章不吸引人的地方,比如各种拼写错误,各种事实错误等等。
- 要想一篇文章被广泛传播,就要让 thurst 尽可能超过 drag。
- 什么是读者想知道的?这是一篇文章最难的地方,如果能解决这一问题,就不怕文章不被传播。
- 如果你想让读者坚持读你的文章,那么你的文章就要尽可能的深刻。
- 与其找到符合读者期望的点子,不如找到让你自己好奇的问题,这样更容易坚持。
- 为了让文章更加深刻,在打草稿阶段,我们就要问自己,这篇文章要回答一个什么样的中心问题?
- 写作中最常见的错误就是突然转折,而没有任何承接。
- 获得读者的反馈也非常重要,Nathan 设置了 ABCD 四个选项让读者选择:1. Awesome 2. Boring 3. Confusing 4. Disagree/don’t believe
- 设置写作死限是一个很好的动力来源,而创建一个定期发布的邮件列表就是一个很好的选择。
OpenAI 在这篇文章中用通俗易懂的语言介绍了他们如何构建 ChatGPT 的底层模型:
- 首先他们让标注者回答一些问题,把这些问题和回答拿去迭代 GPT-3 模型;
- 然后他们让模型给一个问题生成若干答案,让标注者给这些答案打分。利用这些数据, 他们训练了一个 reward 模型;
- 然后他们让第一步迭代后的模型根据问题生成新的答案,然后利用第二步中的 reward 模型进行打分。也就是两个模型形成了对抗,用强化学习进一步迭代第一步中的模型。
Derek Sivers 年轻的时候,一位朋友跑到纽约拜访他。Derek 问他要不要去拜访那些名胜,得到的回答是,他就是来看 Derek 的,并不是来看名胜的。Derek 不敢相信这些,直到多年后他去印度,离开前的一天,他问当地的一位艺术家要不要见个面,于是这成为印度之旅的亮点。
这让我深有同感,最近一次回国也是,回到了之前呆了七年的城市,约了各种老朋友见面。这些朋友也带了一些新朋友让我认识,这些都让我非常满足。要知道,刚刚经历完各种隔离的我,当时差点买最近的一班航班离开。正是这些聚会让我觉得,这座城市还有各种惊喜,于是呆了一个多月才走。
Archive
本周的生产力日报集合就到此为止,如果你有什么建议,也欢迎留言告诉我们。如果想要收到最及时的推荐,不妨订阅我们的频道,或者付费解锁更多增值内容,我们下期见。
题图源自 Unsplash