Table of Contents

上周非常开心的参加了 SHLUG Monthly 的月度分享。。

P1 | P2

我已经忘记上次出门是什么时候了。。再一次见到这么多朋友于我来说也是非常激动的。。
（当然这好像这个活动也是刚刚恢复的，之前因为封控。。连 Hacking Thrusday 都转移到线上去了。。。）

首先本来的 slide 应该是具体的推销我现在在填的那个游戏。。。也就是。。《木桶饭妹抖行动》。。
顺便讲解一下整个技术栈（开源）。。以及我是怎么出图的。。
但是前段时间一个是写剧本把自己写出了内伤。。（毕竟是 mtf 主题的。。结果现在被小川同学降维打击了。。。）。。
其二是 AI 在这个月确实有点让人应接不暇的意思。。
所以最后的 slide 更多的好像变成关于 AI 的讨论了。。

当然现在你在任何地方都能看到 AI 的讨论。。我觉得这就是技术奇点该有的样子。。。
作为新时代的纺织女工。。为了不被淘汰。。了解相关的知识是十分必要的。。。
而且可能这个阶段 NLP 研究人员也未必就能比你懂很多。。（很多重要的问题依然是玄学和 open problem）。。

首先。。去年 novelai leak 出去的时候。。于我来说是非常兴奋的。。。
再加上国内发生的种种事情。。让我对未来又重新燃起了希望。。。（于是把头像又从黑白变成彩色了。）
（当然最后能解封的那么快。。哈哈。。。仿佛一切都未曾发生。。大家就像是一个只有 256 token 的 AI。。。。。还是极大的出乎我的预料的。。）

novelai 的 leak 在我看来就是盗火的普罗米修斯。。。
果不其然。。。AI 绘图（特别是开源的，民用的。。）再接下来的数个月内突飞猛进。日新月异。。
已经可以进入生产阶段了。。。以摧枯拉朽之势… 开始影响各种画师、美工的工作了。。。

…
结果这还仅仅只是开始。。。

有生之年系列 —— 待填之坑大盘点

当然在过去的一个月里发生了很多神奇的事。。。比如量子马老板和阿里大拆分，硅谷银行破产及之后的一系列连锁反应。。又或者美帝对 TikTok 的封锁。。但这些事情远远都不及 GPT-4 的影响更大。。毕竟前面这些事情。。和我又有什么关系呢。。。

但是人工智能的发展。。这次确实清清晰晰的看到了。。就像是保罗格雷厄姆在《黑客与画家》里所说的那样，因为 startup 让每个人都更富有。。生产力变得更强了。。。

而《木抖行动》最初的目的。。也是为了验证这件事情。。因此设计成了好多人物的群像剧。。
比如，这样就会有许多人一起合影这样的 CG。。。就非常适合来练习 Advanced AI 画图。。。

比如这样的四人合影。。。（但是事实证明，我显然还是拿捏不了这样复杂的剧情的。。。写到秋叶原篇就写不下去了囧。。。）

加上《木抖行动》。。我似乎现在一共有五个剧本在填。。。

1.《海之歌》，一个包含 roguelike 和美少女梦工厂要素的轻百合剧。。主旨是传达主角在失却力量之后。。如何在姬友无微不至的鼓励和呵护下进行复健运动。。。

https://github.com/lychees/Song-of-the-Sea

2.《红龙》，描述一个被收留的龙之末裔少女原本在乡间种田，在战火之中觉醒自己无法掌控的力量之后，如何面对各种抉择的故事，和上面的故事互为姊妹篇。。一个是突然失却力量。。一个是突然获得力量。。

3.《木桶饭妹抖行动》，一个模仿《赛博朋克酒保行动》，但是主角是 mtf 的短篇。。

https://github.com/lychees/mtf-meido-action

4.《伊莎贝拉的奇幻历险》，一个致敬《大航海时代》系列的，拥有超大可探索地图和随机生成海域的冒险游戏

5.《天才 ACM 少女》，一个利用算法解题推进剧情的少年漫风格的 galgame。。。

所有这些剧本其实最大的瓶颈于我来说。。主要是画图。。。。。。
为此我甚至高三阶段学了半年的画画。。。结果还是没能画的很好。。。
但是现在看来这些知识居然神奇的派上用场了。。。

总之我现在还是非常有信心可以凭借一己之力把上面的坑全部填完的！！！

强人工智能屹立于大地之上

关于这个话题目前最详细的一篇文章。。。我猜应该还是这篇 report。。

Sparks of Artificial General Intelligence: Early experiments with GPT-4 ｜（中文版） | （中文精简版）

TL;DR: 我觉得这篇 report 所有引述的例子只为证明一件事，强人工智能时代已经来临。
尽管对此依然存在争议（乔姆斯基）（Lecun），而且其实最初的图灵测试设计之初，也是在试图绕过那些人类无法理解的问题，而主张更加的 practical 的方式？只是当有 AI 真的通过图灵测试时，人们才发现图灵测试其实啥也没说。

这个例子其实非常有意义。。对 AI 智能的研究，显然可以帮助我们更好的理解自己。。（认识你自己永远是最重要的元命题啊）。。

其次无论玛丽皇后的。。Qu’ils mangent de la brioche!。。还是惠文帝的何不食肉糜。。。我觉得其实都是说明。。受限于自己的经历和偏见。。人类是很容易受到局限的。。。其实大家都是穴居人而已。。。

就像是我一直认为。。在分析地外生命时。。不能简单的看那些地外星球。。是否时类地星球。。。没有水。。没有氧气。。就一定不能有生命呢。。。只是地球上的生命。。。是需要氧气和水而已。。。也许外太空里。。其他形态的生命也是存在的。。。。

同样的。。人类对智能的理解。。也是极有可能受限于人类自己的认知的。。。而强人工智能的出现。。正是帮助人们更好的认知智能体。。。的机会。。。

这方面奥特曼的博客相信肯定比我谈得好。。。我只对他得一个观点有异议。。。就是说他认为。。。prompt engineering 会在五年内消失。。。（我觉得这是他对 AI 太过自信了。。而且就算 AI 的智能指数成长。。我也觉得未来一定会有新的形态的 prompt engineering。。这个判断反正也只有五年，很快就知晓结果啦。。）

量变到质变

强人工智能从何而来？和众多的机器学习中的问题一样。。这目前依然是一个 open problem。。似乎只要力大飞砖，模型就出现了涌现的能力。。就像电子的跃迁。。。量变产生了质变。。。

Jeff Dean 这篇去年 6 月的 Report 很早就对这一现象进行观察。。但居然并未提出任何可信的猜想。。
反而是下面这篇 Blog 所提供的信息更多。。。其中一种猜测是，是 AI 在训练代码时。。。产生了这种涌现的能力。。可是这样观察的话。。同样是这个任务。。。DeepMind 也早在去年就在科学的封面发了另一篇相关的 Paper。。。很不幸的是。。这篇 Paper 甚至在上面的数篇里，都没能得到引用。。。另一方面，既然 Google 和 DeepMind 既然去年就已经知道这种涌现能力且已经有对于代码解题方面的研究。。。为何会如此落后于 Microsoft 和 OpenAI 。。。

Google 在干嘛？

一种观点认为，我和 OpenAI 之间，只差了一个 RLHF。。。

https://twitter.com/carperai/status/1640363168537903104

另一种观点认为，这是我和 OpenAI 之间，不同的文化所导致的。

18. 商业口述史：从美国往事，到Google输掉Open AI第一局

不过我认为更可信的观点是。。这是一个典型的。。创新者的困境。。。

[职场感言]从这个角度来看google这回是很难了

总之最后我来把上面的三种原因组合组合，来得到一个我的观点。
首先是强人工智能模型潜在的对谷歌的核心业务 a.k.a. 搜索，会产生冲击，因而高层自然会只想防御性研发，再加上谷歌的文化，之前纠结在 AI bias 等伦理问题，拖慢了节奏。最后在研发方法上，之前对于代码的学习，可能是局限于 AI 解题，且是用独立的深度学习算法。。。再来看之前的那篇报告吧：

使用思维链进行复杂推理的能力很可能是代码训练的一个神奇的副产物。对此，我们有以下的事实作为一些支持：
- 最初的 GPT-3 没有接受过代码训练，它不能做思维链。
- text-davinci-001 模型，虽然经过了指令微调，但第一版思维链论文报告说，它的它思维链推理的能力非常弱 —— 所以指令微调可能不是思维链存在的原因，代码训练才是模型能做思维链推理的最可能原因。
- PaLM 有 5% 的代码训练数据，可以做思维链。
- Codex论文中的代码数据量为 159G ，大约是初代 GPT-3 5700 亿训练数据的28%。code-davinci-002 及其后续变体可以做思维链推理。
- 在 HELM 测试中，Liang et al. (2022) 对不同模型进行了大规模评估。他们发现了针对代码训练的模型具有很强的语言推理能力，包括 120亿参数的code-cushman-001.。
- 我们在 AI2 的工作也表明，当配备复杂的思维链时，code-davinci-002 在 GSM8K 等重要数学基准上是目前表现最好的模型
- 直觉来说，面向过程的编程 (procedure-oriented programming) 跟人类逐步解决任务的过程很类似，面向对象编程 (object-oriented programming) 跟人类将复杂任务分解为多个简单任务的过程很类似。
- 以上所有观察结果都是代码与推理能力 / 思维链之间的相关性，但不一定是因果性。这种相关性很有趣，但现在还是一个待研究的开放性问题。目前看来，我们没有非常确凿的证据证明代码就是思维链和复杂推理的原因。

而我们知道编程解题的世界。。要么就是代码结构太短的水题。。要么就是包含了复杂数学知识和原理的难题。。再加上代码里又有很多 trick。。。
可能不如直接用 Github 的数据来训练更加有效。。。。

神奇的萨提亚

To train the larger models without running out of memory, we use a mixture
of model parallelism within each matrix multiply and model parallelism across the layers of the network. All models
were trained on V100 GPU’s on part of a high-bandwidth cluster provided by Microsoft. Details of the training process
and hyperparameter settings are described in Appendix B.
—— Language Models are Few-Shot Learners

不过话说回来微软这十几年的发展真是让人刮目相看。。。萨提亚的很多决策确实都高瞻远瞩。。。（例如收购 Github、投资 OpenAI。。。据说很多高层当年都反对对 OpenAI 的投资。。但是萨提亚还是先开了很多机器给 OpenAI，跑出了很多关键数据。。从而推进了投资案。。。甚至 New Bing 现在都开始广告变现了！。。。。。当然除了在收购暴雪这件事情上令人发指的操作之外。）

相比之下，Google 的许多操作和当年的 Yahoo 如出一辙。。。先是关闭了自家的 Google Code。。（明明是个很有竞争力的产品。。。而且可以反馈内部的 g3 基础设施。。）。。后来再收购 Github 上又是犹豫不绝。。。当然我觉得 Gitlab 也是还不错的w。。。。

军备竞赛与核不扩散条约

好了，现在所有人都知道，奇迹和魔法，都是存在的 —— 只要模型足够大。。
至于 RLHF。。那当然似乎不是必要的。。至少对开源模型来说是这样没错。。

所以我们看到，过去的数个月力，各种开源大模型如雨后春笋一般横空出世。。

至于 RLHF，当然现在的成本也显著的降低了。。

至于这些模型。。目前距离 GPT-4 的智能当然是差很多的。。但是有代差吗。。？
我觉得甚至可能不见得。。。哪怕是百度的文心一言，被人嘲笑。。但是如果早半年发布呢。。。它甚至可能是 status-of-the-art。。。

总之，现在方向既然已经确定。。。我觉得之后的迭代会更快。。特别是对于后来者。。以及更多的预算。。因为有更好的算法（）。。更好的生产力工具（指 GPT-4 自己）。。。。相信一堆国产大模型已在路上。。。

总之，大强人工智能时代来临了。。。

随之而来的大概会是一系列监管的。。。当然，只要你跑的够快，监管就追不上你。。。

核不扩散条约

令人震惊的是。。。监管还没来。。居然先来的是核不扩散条约。。。
– https://www.reuters.com/technology/musk-experts-urge-pause-training-ai-systems-that-can-outperform-gpt-4-2023-03-29/

哈哈。。不过不用脑袋想就会知道。。这个肯定只会害到 OpenAI 啊。。。谁跟你玩停火啊。。。我们忘记第一次中东战争了嘛。。。

三十五年，楚伐随。随曰：“我无罪。”楚曰：“我蛮夷也。”
—— 史记

（当然，上面例子里楚国的目的是得到与诸侯对等的地位。。是想拔掉蛮夷的帽子的。。就像底特律变人里的机器人们。。也只是在追求平等的权力。和近当代的女性、黑人、性少数平权并没有区别啊。。。）。。

大强人工智能时代的纺织女工

起初，AI 取代客服妹子的時候，
我沉默，因為我不是客服妹子。
當 AI 取代原畫師的時候，
我沉默，因為我不是原畫師。
當 AI 取代 UI 設計師的時候，
我沉默，因為我不是 UI 設計師。
當 AI 取代程序员的時候，
我沉默，因為我不是程序员。
最後當他們來取代我時，
再也沒有人站起來為我說話了。

—— https://twitter.com/MinakoOikawa/status/1633602876542169088

好了，前面已经说了非常多 AI 影响和取代工作的例子了。。。最后发现纺织女工。。。竟是我自己。。。

始作俑者，OpenAI 已经出 Report 啦。。。

TL;DR: 这篇文章里提出了一个机遇暴露率（exposure）的分析。。既你的工作，有多少的内容，暴露再了 AI 的视野中。。。那么对于一般印象里会被 AI 取代的。。搬砖工人，农民，快递员。。目前反而其实安全。。（GPT-4：波士顿动力，你在干什么！）。。反而一般意义上的 “创意工作者”。。。画师、设计、码农。。反而更加危险。。。

怎么样没想到吧。。。过去 20 年，用来促进码农合作的开源软件。。最终成了杀死自己的 back-fire。。。

人类最伟大的成就，即将成为人类负面的原因，说来可不讽刺？
—— 《底特律变人》

当然一种更容易去验证方式。。就是直接问 GPT-4，看她能不能生成自己平常所写的代码了。。

人机协作

AI won’t steal your job, people leveraging AI will

当然正如亚伦·斯沃茨对互联网的评价一样。。。任何技术都是两面的。。。最终依然取决于，我们如何去使用它。再说其实最终取代你的也不是 AI，而是因为 AI 节约了成本的其他人类（至少强人工只能距离母体的觉醒还有一段距离，在母体觉醒之前，还是人类之间的竞争）。。。

那么此时。。如何能够更好的，妥善的与机器协作。。就成为了非常重要的事情。。
（毕竟 GPT-3.5 的 Token 现在还是非常便宜的。。。。开源方案也都不差对吧。。）

一人成军

“超人就是这大海，在他里面你的大轻蔑将被融入。”
—— 尼采

那么在与人机协作的过程之中。。此前人月神话认为。。薪水差距两倍的程序员的效率差距可能是 10 倍。。那么在大强人工智能时代。。。这个差距可能是 100 倍，1000 倍。。。那么。。量变产生质变。。。尼采所说的超人。。。自然也就有可能成立了。。。（我和 GPT-4 合力砍下 81 分。。）

至少对于独立游戏的开发，这点是绝对可以成立的。。这也是上面我的报告的主旨。。

强人工智能与赛博朋克

去年最好的动漫作品，我认为《赛博朋克边缘行者》肯定能有个提名不过分。。
但是仔细想象。。至少整个赛博朋克的世界观。。是没有强人工智能的。。。（但是脑机接口现在在这个世界线里好像被喊停了点不出来。。囧。。。）

而像 Matrix、Scorn、Nier 这些作品。。。又好像离我们的现在有点过于遥远。（谁知道呢）。已经是后强人工智能世界线的各种可能结局了。。。。

那么在前强人工智能时代的剧情。。我首推《星之梦》。。其次是《底特律变人》。。。

《底特律变人》

首先说很多人玩过的底特律变人。。底特律变人的核心议题。。是人类与仿生人的冲突。。特别是仿生人取代人类工作。。。哇。。这个议题可太重要了。。。

雖然《流浪地球 2》裡其實提到了移山計劃實際是在 Moss、也就是人工智能 + 量子計算機的幫助下推進的，但是關於其中 AI 倫理的探討篇幅非常稀少。。唯一的演出就是開場的抗議人群，但是甚至還是作為烏合之眾那樣去描寫的，後面更是好像就什麼都沒發生了（當然如果劇本仔細描述可能就過不了審啦）。。這部作品裡對 AI + Robot 對就業機會的衝擊所引起的社會矛盾以及伴隨而來的階級分化，和人類對機器人的壓迫。。以及隨之而來的機器人平權運動。。。都是當做核心衝突進行描寫的。。（相比之下 Matrix 雖然也涉及但是已經幾乎後 AI 時代了。主題就不在這些內容了。）

而且这些议题实际上都距离我们想当之近。。

游戏中的另一个有趣的观点。。就是以游戏中的幕后 boss 卡姆斯基科学家之口提出了。。卡姆斯基测试。。其实类似银翼杀手里的人性测试。。。我估计这些很快就要投入实践了。。。囧。。

《星之梦》

《星之梦》的剧情我可太爱了。。为了些《木桶饭妹抖行动》特地去学习了一下。。结果哭得停不下来。。眼睛都疼了两天。。。

那里面得星野梦美。。。我得感觉。。就是一个不怎么聪明得强人工智能。。。其实就和现在 GPT-4 的情况。。。是特别相似的。。。但她又是明确的有自己的想法。。也就是有她的 humanity 的。。。特别是当她做出自我决策。。走出了天文小屋。。。

啊那一幕可太感动了。。。后面的我就不剧透了。。。

降临派、拜 AI 教与人机联合体

We are the Borg. You will be assimilated. Resistance is futile.
—— Star Trek

（TBD）

结论

尽管未来存在这无穷的不确定性，人工智能的大厦上也已经不是两朵乌云（而是那个大厦现在完全建立在乌云之上。。不过那也是 7 级兵建筑云中城啊。）。。。但是我依然相信人类。。相信人性。。。。。因为。。

—— 我们必须知道，我们必将知道。