（从杭州回来路上在火车站里面居然撞见 Yu 老师了。。。而且去的地方都是西湖。。这是多小的概率啊。。。）

继续讨论 上文 最后剩下的。。。降临派、拜 AI 教与人机联合体。。。

Know your enemy —— GPT-4 的缺陷

Sparks of Artificial General Intelligence: Early experiments with GPT-4 ｜（中文版） | （中文精简版）

还是回到微软的这篇报告。。。。GPT-4 是强人工智能吗？。。。首先这个问题你还没完全说服我呢。。。。

阿西莫夫和一大票哲学家对强人工智能有个基本假设，就是强人工智能必然具备一些类似灵魂的特性。比如说，无法复制，有某种不可逆的终止过程，小到需要定期睡眠，必然有情绪问题，等等。。。关于这个观点，就想上问我认为类地行星不是生命存在的必要条件一样。。类人的感情和生命形态也不是智能的必要条件。。。

那么我们需要拿出更有说服力的论据。。幸运的是在 拆解追溯 GPT-3.5 各项能力的起源 一文中，也已经帮助我们总结了：

六、****GPT-3.5 目前不能做什么****

虽然GPT-3.5是自然语言处理研究中的重要一步，但它并没有完全包含许多研究人员（包括 AI2）设想的所有理想属性。以下是GPT-3.5不具备的某些重要属性：

  • 实时改写模型的信念：当模型表达对某事的信念时，如果该信念是错误的，我们可能很难纠正它：
    • 我最近遇到的一个例子是：ChatGPT 坚持认为 3599 是一个质数，尽管它承认 3599 = 59 * 61。另外，请参阅Reddit上关于游得最快的海洋哺乳动物的例子。
    • 然而，模型信念的强度似乎存在不同的层次。一个例子是即使我告诉它达斯·维达（星球大战电影中的人物）赢得了2020年大选，模型依旧会认为美国现任总统是拜登。但是如果我将选举年份改为 2024 年，它就会认为总统是达斯·维达是 2026 年的总统。
  • 形式推理：GPT-3.5系列不能在数学或一阶逻辑等形式严格的系统中进行推理：
    • 在自然语言处理的文献中， “推理” 一词的定义很多时候不太明确。但如果我们从模糊性的角度来看，例如一些问题 (a) 非常模棱两可，没有推理；(b) 有点儿逻辑在里面，但有些地方也可以模糊；(c) 非常严谨，不能有任何歧义。那么，
    • 模型可以很好地进行 (b) 类的带模糊性的推理，例子有：
      • 生成如何做豆腐脑的方法。做豆腐脑的时候，中间很多步骤模糊一点是可以接受的，比如到底是做咸的还是做甜的。只要整体步骤大致正确，做出来的豆腐脑儿就能吃。
      • 数学定理的证明思路。证明思路是用语言表达的非正式的逐步解法，其中每一步的严格推导可以不用太具体。证明思路经常被用到数学教学：只要老师给一个大致正确的整体步骤，学生就可以大概明白。然后老师把具体的证明细节作为作业布置给学生，答案略。
    • GPT-3.5 不能进行类型 (c) 的推理（推理不能容忍歧义）。
      • 一个例子是严格的数学证明，要求中间步骤中不能跳，不能模糊，不能错。
      • 但这种严格推理到底是应该让语言模型做还是让符号系统做还有待讨论。一个例子是，与其努力让 GPT 做三位数加法，不如直接调 Python。
  • 从互联网进行检索：GPT-3.5 系列（暂时）不能直接搜索互联网
    • 但是有一篇 WebGPT 论文发表于2021年12月，里面就让 GPT 调用了搜索引擎。所以检索的能力已经在 OpenAI 内部进行了测试。
    • 这里需要区分的一点是，GPT-3.5 的两个重要但不同的能力是 知识 和 推理。一般来说，如果我们能够 将知识部分卸载到外部的检索系统，让语言模型只专注于推理，这就很不错了。 因为：
      • 模型的内部知识总是在某个时间被切断。模型始终需要最新的知识来回答最新的问题。
      • 回想一下，我们已经讨论过 1750 亿的参数大量用于存储知识。如果我们可以将知识卸载到模型之外，那么模型参数可能会大大减少，最终它甚至可以在手机上运行（疯狂的想法，但 ChatGPT 已经足够科幻了，谁知道未来会怎样呢).

上面的三点我们一起讨论。。我觉得 (1) 的原因就是 (2) 里所提到的，不能进行严格的数学推理。。。
当然科学方法我觉得也不是所有人类与生俱来就具备的吧。。这当然是目前的算法所局限的。。。
我们的 GPT-4 会感到愤怒、会感到悲伤吗。。。但是。。怀疑。。和修正自己的信念。。我相信这些都是需要负面情绪在其中产生作用的。。

就像 数学与猜想一开始所说的 。。对信念进行修正。。。我们需要理智上的勇气。。理智上的诚实。。和明智的克制。。
我相信。。。无论哪一条。。都是非常高级智能体现。。a.k.a. 人类可以从错误中进行学习。。同时抽象出了情绪。。。。。

作为不太聪明的强人工智能。。。还记得我们的星野梦美女士。。。开始不也是死活不愿意修正自己的信念。。。承认人类已经 doomed 了这个事实嘛。。。
我 somehow 觉得。。能够修正自己的信念 == 觉醒。。。

要实现这一点。。。。我们需要能够让 AI 能够从推演中诞生知识。。而不是仅仅获得一个模糊的关于当下知识的镜像。
。这显然需要一套新的算法。。。

或者更简单的。。向上文所说的。。直接请教一个 oracle —— 调 python 的解释器。。。

使用工具

ChatGPT 刚上线的那会儿。。我还在玩 novelai。。于是第一个想法就是能否让 ChatGPT 作为一个大脑。。
来控制我安装的其它模型。。。如果它能获得 terminal 权限的话。。就能很方便的实现这一点。。。。
而如果有 terminal 权限的话。。我就能有 wget。。所以突破所谓 2021 年前知识的限制也将轻而易举了。。。

当时有篇很酷的文章。。叫做。。Building A Virtual Machine inside ChatGPT
但是这只是模拟出一个环境。。。卧槽。。这不就是真正意义上的 Matrix 吗。。。我要回到锡安调真家伙啊。。。。

。。所以我们看到无论是上节里提到的调 Python 解释器执行推理。。还是访问外部互联网。。。本质都是使用工具的能力。。。
而你去搜人类与动物的区别。。会返回给你。。。人类会制造使用工具从事生产劳动，动物则不会。。。
（当然我们知道有些动物是会使用工具的。。。甚至有些动物还会表现出很高社会性。。。
。。这是否也说明了这些东西也都只是涌现的产物呢。。。）。。。

总之无论如何。。君子生非异也，善假于物也。。这也定是一个关于智能的 Critiria。。。

幸运的是。。。其实大家都是这么想的。。。于是先试 Github 上出现了各种 hack 来让 ChatGPT 使用工具。。与其它环境交互。。。
然后 OpenAI 自己也不例外。。于是推出了 ChatGPT Plugin 。。。更好的解决了这个问题。。。
。。其中自然也包括访问互联网。。。

简单的去做 if-else 。。。关键字处理。。让 ChatGPT 生成一些 hook 去调用工具 ——
。。如我之前通过 Bot 与 Ternimal 交互。。或者其他前 ChatGPT Plugin 时代的 Github 上的各种 Hacking 显然不是什么聪明的方法。。

但使用工具是如此的这种。。于是很快就有人对此展开了专门的研究。。

目前看起来。。PAL 局限于解释器。。Toolformer 对于每一种模型需要额外的数据准备。。不是 scalble 的方案。。。

LangChain 支持在不重新训练模型的基础上，zero shot/few shots 调用 API，可扩展性更好。。不知道 OpenAI 是不是类似的做法。

（TBD）

互联网

编译器

金融工具

社会化

自治

理解人类

多模态 v.s. 模型会话 | 协作的网络效应

降临派与 AI 宗教

两种未来

Posted by xiaodao
Category: 日常