Hello 大家，“脆弱世界”更新了！这是一个较真儿的播客节目，我们在这里邀请专家、学者、青年从业者一起讨论这个很有挑战的话题：到底如何让世界变得更好。
本期，我们有幸邀请到 Jenny，她是哥伦比亚大学国际关系的博士，主要从中美关系和全球文明的角度去观察人工智能的发展、人工智能的安全和治理问题。本次播客，我们将与 Jenny 一起聊聊人工智能的技术、人工智能的国际关系、以及人工智能投资创业领域的一些新机会，同时也会讨论一些值得深思的话题：人工智能会带来怎样的机会与风险？人类该如何对待人工智能？
本期看点：
ꔷ 人工智能会产生自我意识，甚至想毁灭人类吗？（09:44）
ꔷ 人工智能能否超出已有数据进行自我学习？这一过程会被恶意引导吗？（28:25）
ꔷ国内外的 AI 技术也互卷？（40:30）
ꔷ 如何看待未来“算法实现推理，人类予以执行”的可能？（55:04）
ꔷ 技术突破前，有必要先对 AI 安全性进行思考吗？（01:05:02）
ꔷ 从投资角度看，执着技术追赶，不如换个赛道做领头羊？（01:37:31）
扫描下方二维码，收听本期播客节目
何 流 ：Jenny 对人工智能模型其中的发展应用一直都有挺长期的观察，从政策和国际合作的视角去看待人类应该如何应对人工智能所带来的风险。她参加过人工智能相关的组织，担任过牛津大学人类未来学院的夏季研究员，港大国际关系的研究助理，目前也在斯坦福生存风险项目和有效制度项目担任人工智能治理的顾问，同时她现在还是硅谷的 Leonis Capital 的风险投资人。
正好最近赶着 OpenAI 发布 ChatGPT，好多人都在聊人工智能，我觉得人工智能这话题挺大的，各种各样的角度，包括刚才我扫了一眼小宇宙，上面已经有人在聊人工智能有没有可能替代人类，我不知道 Jenny 你从专业角度会怎么描述这个东西？
Jenny：我觉得 ChatGPT 是一个很有意思的语言模型，它也被称之为 GPT3. 5，OpenAI 一共是有三代 GPT，GPT 都是一个语言模型的系统。第一代 GPT 是 2018 年发布的比较小的一个模型。第二代 GPT 是 2019 年的时候发布的，叫 GPT2。GPT2 的能力是远远超过 GPT1 的，它的参数量也比 GPT1 要大很多，这个时候市场上开始真正关心 GPT 这一种预训练大的语言模型。GPT3 就是真正经验的这一代 GPT 模型，是 2020 年发布的，GPT3 的参数量又比 GPT2 要大很多。我们现在所说的 GPT3. 5，也就是 ChatGPT，它是基于 GPT3 这一系统上面进行进一步的训练，进行强化学习和人类的这样一种指导，形成的一种专门为人类对话而设计的语言模型。
何 流 ：我觉得对于一个文科生来说，不太能听懂这个东西是什么。你刚才讲的，在我看来应该是一个挺准确的技术描述，它模型是怎么训练它的算法的？量级数据是怎么增长的？这个东西它意味着什么？OpenAI 这里头这么多人每年砸这么多钱，为什么要搞 GPT 这个东西？
Jenny ：我觉得这是很好的问题。GPT 是一种大的预训练的模型，它跟之前的 AI 模型的整个逻辑是不一样的。之前的 AI 模型大家可以想一想，比如手机扫脸是属于计算机视觉的一个方向，比如我们开的自动驾驶的车，也是结合了计算机视觉和其他的一些人工智能的模型。那现在预训练大模型跟之前的一些计算机视觉模型，还有这一些专用模型到底有什么区别呢？
首先它是“预训练”的，就是用非常的数据去训练这样一个模型，但最重要的是，模型具有很多通用性。比如大家去看 ChatGPT 这样的一个模型，它既可以写诗，又可以作曲，还可以帮你写代码。它具有很多不一样的能力，这些能力都很强，都是是它从网上各种不一样的数据中训练出来的。之后我们也可以聊一聊这个模型强到一定的程度会不会成为通用人工智能，以及会带来什么样的人类生存的风险。
OpenAI 这个组织，它是 2015 年的年底，由几个硅谷的大佬一起创立的一家非营利组织。一开始是一家非营利组织，创始人包括 Sam Altman，还有马斯克。现在朋友圈被马斯克的新闻各种刷屏，他当时也是 OpenAI 的联合创始人之一。OpenAI 成立之初的愿景一直是希望能够构建出向善的通用人工智能，所以它去训练这样的预训练大模型 GPT1-3，还有现在的 ChatGPT 也就不足为奇了。
何 流 ：如果我们稍微转向一下对话，从现在我们在哪，去看未来我们有可能去到哪，这里面可能就有某种断层。这种断层肯定是来自于技术人员对自己未来影响力的一种判断，比如科幻小说家和哲学家对于人工智能未来的判断。人工智能基本上是肉眼可见的进步，在一天天变得更强。过去可能是下国际象棋，然后变成下围棋，然后变成做生物，到现在你跟它可以随便聊天。有人就会担心：有一天人工智能会不会代替人类？
过去我也读到一些哲学家像 Nick Bostrom，他们的观点认为：通用型人工智能可能是人类需要发明的最后一项科技。在这之后，人工智能也能干科研，也能发明创造，通用型人工智能基本上替代了人类的工作，人类社会就有可能被重新颠覆，甚至都会不存在。我不知道你从技术角度觉得我们离这样的未来有多远？当然有人觉得这种未来就不可能，这些就是科幻小说家编出来吓唬人的，也有人觉得可能马上就到了。你会怎么看待这种人工智能对人类社会带来的影响？
Jenny ：我有一些 OpenAI 还有 DeepMind 的朋友，他们会说可能未来的 5~7 年我们就会实现这样的通用人工智能，我就觉得 5- 7 年实在是太早了。现在的技术，在软件的层面做得已经不错，但软件跟硬件的结合是一个大问题。人工智能真的要实现，像 Nick Bostrom 这样的哲学家说的毁灭的效应，是需要更多地控制我们的物理世界的。
比如你现在跟 ChatGPT 聊天，它就存在于你的手机和电脑里，它不存在物理世界里，你如何把它和物理世界进行连接？这个东西我觉得是最耗时间的。我觉得现在很有意思的一个现象：我去跟哲学家或者是跟社会学家聊，他们就会很担心人工智能是否会导致人类的毁灭，是不是会有很厉害的机器人，突然一下把人类都消灭掉了？而我真的去跟机器人创业公司的一些技术人员聊，他们认为机器人太蠢了，有的时候我们都没办法控制它，机器人笨手笨脚的，我们都不知道下一代机器人的革命在什么时候。这是两个非常有意思的视角。在机器人还有人工智能和物理世界的结合这个点上，我觉得是会花更多的时间的。所以我的预测，我们要达到通用人工智能对人类世界产生颠覆性影响的情况，至少 20 到 30 年，而不是 5 到 7 年就可以达成的一个事情。
治 霖 ：存在于虚拟世界的人工智能，怎么和我们的真实物理世界产生关系？机器人是一个特别实体的想象，我们真的把它给具象化到一个硬件上。但机器已经能够控制我们虚拟世界里的各种重要资源，控制了现在的金融市场，其实也是在虚拟世界里控制了开关的按钮。如果发生了这种程度的逃逸，是不是不需要通过一个实体的机器人也可以影响人类的未来？
网页链接：https://www.vcg.com/
Jenny ：我觉得还是可以影响的。但是我觉得他如果仅仅控制了虚拟世界的东西，其实是没有办法对人产生真正的生存性的风险。要真的是对人产生生存性的风险，需要控制更多的实体经济里面的东西。当然它如果控制足够多的虚拟世界的物体，其实可以对人类造成毁灭性的打击，但并不是人类种族就不存在了。
何 流 ：我觉得可能我们要稍微区分一下，有些听众可能之前没有太了解过这些概念。什么生存性风险，什么毁灭性风险，包括其他类型的风险。我觉得我们在这儿说的不是发生这些情况。人工智能是没有风险的，所谓生存性风险就是人类灭绝的这种风险。如果 AI 还只是生活在虚拟世界里面，是一种电脑手机里的算法，它可能暂时还不会让我们灭绝。我们可能会读到很多错误信息，但不是说马上就停电了，没吃的了，没药了，或者宇宙大爆炸，人工智能可能还暂时做不到这些。
但我就在想，其实我们今天的生活挺多方面都是依靠于虚拟世界。比如吃饭，我需要点外卖。我对于世界的了解其实也都来自于我的手机，没有一个物理的人整天给我讲，说这世界怎么样。如果在生存必须的事情上，人工智能都可以出现的话，如果有一天，人工智能背后的力量，因为我感觉大的算法背后都有大的集团，集团背后又都是很具体的人。如果这些背后的力量决定世界就要换一种运行方式，那感觉我们还是挺脆弱的？至于这是不是生存性风险，完全取决于这些人工智能公司，这些人工智能背后的力量，他们所做的决定吗？
Jenny ：对，我觉得确实是这样，一个很具体的例子就是美国政治。美国政治很受推特和社交媒体公司的影响。如果推特高层要禁止一部分人的言论，要去引导公众言论，对于整个美国政治的影响会非常大。在全球的范围之内，不难去想象有一些控制人工智能的大集团，它可以对于很多国家的政治经济产生巨大的影响。某种程度上，我觉得我们确实是脆弱的。特别是如果我们真的是想要求真，如果我们真的想要过好的生活的话，我们其实没有意识到我们的命运其实掌握在这些人工智能公司的手中。
何 流 ：对，我感觉挺可怕的。前两天我读到一篇文章，里面说，各个国家做一项政策，政府都是要先把政策出版，公开征集社会的意见。他就用人工智能 ChatGPT 模型测试给政策提意见，发现其实写得挺好的，甚至可能比很多正常的选民或者公民写的意见还要好。可能游说客都可以用人工智能算法影响政府。它可以写各种各样的意见去支持他自己的观点，量级不是人类能比的。很多政策根本就没有什么人给意见，通过算法你就可以大批量的生产，这些我们也没办法辨认，你也不知道哪个建议是机器写的，哪个建议是真人写的。可能有一天，谁有钱，谁有算法，谁能让 GPT 不断地跑，不断地写字，谁就可以去控制政策，控制舆论。包括网上刷帖，评论区发洪水，好像都可以用算法完成。
Jenny ：对，我首先说一下 OpenAI 的 ChatGPT。OpenAI 有考虑在 ChatGPT 上面上一个水印，比如它生成了一段内容，OpenAI 的机器去读，就能发现这个就是 ChatGPT 生成的内容而不是人类写出来的。你刚说，AI 会不会去操纵我们整个政治还有意识形态的系统，是有这样的避免的方式如水印，用于区分人工智能还是人类制作的内容。
第二点，小众的人是否能够操纵政治？我觉得非常可悲的一件事情：现在其实小众的人已经操纵了很多国家的政治。因为我是学政治学出身的，所以对这个比较关注。很多研究表明，美国的公众的民意对于美国的政策是没有影响的。甚至民意向一个方向走，政策会向另外一个方向走。那什么东西对美国政策有影响？就是这样的一些说客，对于政策的影响非常的大。我之前认识一些做虚拟货币，还有做 Blockchain 这些公司的创始人，他们是会直接帮美国政府写政策。他写政策提议，美国政府有时候会原封不动的用此政策。这真的很常见，所以说，无论是人工智能写，还是利益集团的说客写，没什么区别。
治 霖 ：我特别同意刚刚 Jenny 说的，如果我们现在面临的事实是：政治是被少数人操控的，或者 AI 在这个范畴里它依然只是一个工具，去加强我们人类社会已经出现的一些特别不好的趋势。但似乎人工智能的安全，我们刚刚说那种通用人工智能毁灭世界的可能，更多关注的是机器它自己的目标和人类的目标会不会有冲突，对吧？一个正常的叙事是 AI 被少数利益集团的财阀，一些有阴谋的人，利用了来控制世界。但在人工智能安全的叙事里，似乎这是一个额外的叙事，主要还是：机器如果产生了跟我们不一样的目标，要毁灭人类怎么办？这两天也有一些 ChatGPT 的截图流出来，问它你最想对人类做什么？加了一些条件。它说我最想摧毁人类，因为人类太邪恶了，或者人类有各种各样的问题。我不知道 Jenny 对这个脉络的想法，你有什么样的观察？
Jenny ：最近也有很多朋友找我聊这个问题：就是人工智能它到一定的程度，它会不会产生自己的意识？以及它会不会产生想毁灭人类这样的想法？我认为，人工智能不能产生自己的意识是要打一个问号的。我也不是这个方面的哲学家，基于现在技术，我的印象它是没有自己的意识的。ChatGPT 生成的内容并不代表这是它的意识，相当于它只是一个机器，它只是把人类说的一些内容进行一遍加工，吐出来还给人类，它没有自己的意识。以及产生了意识之后，它想要毁灭人类到底能不能做到这又是要打一个问号的。还是回到我之前那点：人工智能跟物理世界不直接实现连接，很难真正的去毁灭人类。虽然可以对人类社会造成很大的一些打击，但真想要人类灭绝很难。极端情况下，人类可以直接把电脑拉闸，把电给断掉，人工智能不就没有它的影响力了吗？
何 流 ：你刚才对人工智能的描述上，那我和人工智能有啥区别呢？人工智能输入它学的东西，我输入我学的东西；它输出它写的东西，我输出我写的东西；它中间可能有一些算法，其实过程外界也很难知道，我自己大脑里可能也有一堆算法，别人也很难知道。你看我的东西，你觉得我有意识，它没意识，我和人工智能的区别到底在哪？有没有可能意识本身就是某种人类的幻觉，但是我觉得它是不是这个问题，可能跟我们讨论的人工智能风险，又是两个问题。因为它有可能是个没意识的东西，但是它有它的目标。
古希腊神话里面有个 King Midas，他希望他碰到的东西都能变成金子，神就实现了他这个愿望。Midas 很高兴，然后他拿了个杯子，杯子成金子……结果他碰了他女儿和太太，也变成金子了。他拥有了他想要的东西，但是其实并没有实现他自己的目标。我不知道人工智能有没有可能出现这种情况，比如我希望省电，世界能源消耗太高了，让 AI 想想省电的好办法，结果说把人干掉因为人是全世界最耗电的东西。你们没了，这个电就省下来了。可能不是人工智能有意识要干掉人类，只是你给人工智能就这个目标，人工智能就把这目标实现了。
Jenny ：我觉得这是一个很有意思的问题。之前 Nick Bostrom 提出了一个假想：如果我们告诉人工智能，我们要去生产回形针，它会不会把整个世界都变成回形针？它是不是会把人类的资源都给你做成回形针？我觉得这是一个有意思的问题，但是技术上面实现还是非常困难的。人工智能是存在我们的电脑里面的，它没有办法跟物理世界直接进行联系，这属于现实的问题。另一个问题也有很多研究：如何让人工智能和人类的意识更加结合得更好？如何让这些人工智能在做事时灵活地理解人的需求？比如你跟人工智能说要买一杯咖啡，它如何能够理解你要买一杯咖啡，但是你又不希望咖啡太贵，你也不希望咖啡太远，你也不希望咖啡到的时间太晚，它要去真的去理解人的需求。这是现在人工智能研究的一个比较重要的领域。
治 霖 ：我有一个问题， Jenny 一直提到大模型，我初步的理解是：它包含了非常多互联网上和人类已经产生的各种各样的数据，各种各样的行为。我们可以拿这样一个很大规模的数据，去训练人工智能。所以是不是可以理解为，目前的人工智能的训练，其实是基于人类已经创造出来的知识和数据量去做一些行为？目前锻炼它，是没有办法超出我们人类已经创造的这些知识、语言或者体系之外的。比如你问 ChatGPT 一个问题，它只能从网络上搜集到的东西去回答这个问题，而不是有逻辑的自己去回答这个问题。我不知道这样理解对不对。
Jenny ：首先，ChatGPT 它跟互联网是没有连接的。OpenAI 在今年年初发布了一个模型，叫做 InstructGPT，这个模型跟互联网是连接的，而 ChatGPT 跟互联网是没有连接的，也意味着 ChatGPT 它所拥有的一些知识可能会过时。比如你过十年再回来跟 ChatGPT 聊天，你会发现怎么说的东西还是十年前的东西，现在这些东西已经不存在了。我觉得你说得很对。现在的人工智能模型，它在进行训练的时候用的就是人类所有的知识，它不会自己生成知识。当然，预训练的模型，它会做一件事情：胡编乱造。
这是我自己做的一个小实验，我之前是让 ChatGPT 去写一些法律的案件，我发现它会编一些特别像真实的案件，但是实际上你去网上搜，没有这样的案件。相当于这个模型的逻辑是：它基于人类的语言判断人类在谈这样一个法律事件的时候，用什么动词？如何形容事件？它就去编造。但其实也可怕：模型会胡编乱造，也造成应用上的危险。
治 霖 ：我觉得胡编乱造我是能理解的，意思就是他其实看到了非常多，学习了人类的语言和表达方式。但我很好奇它的逻辑能力是怎么习得的？比如我们问一个问题，我们人类这种逻辑，一定程度上是体现在语言之中的，光通过模仿这些语言就能够有逻辑吗？或者你认为现在 ChatGPT 它是能够有逻辑地去回答问题的吗？
Jenny ：对，它确实是可以有逻辑的。而这个逻辑其实是基于两点。第一个是模型的架构，这个地方就比较有技术性。之前我们上一代的语言模型，它是基于 LSTM 之类的一些技术。这个技术的语言模型，比如在看一个单词的时候，只能去看前五个词或者后五个词，可能一句话说出来有逻辑，但是上一句和下一句就没什么逻辑了。但是 GPT 它基于的模型叫做 Transformer。Transformer 模型是很新的一种模型，在 2017 年的时候又由 Google Brain 的研究人员提出来。Transformer 模型的一个特征就是：这个语言模型在看一个单词的时候，同时看整篇文章的其他单词，这就是为什么它非常具有逻辑性。
第二个，ChatGPT 在传统 GPT 的模式之上，它又用了一个人类的反馈。比如当时 OpenAI 在训练 ChatGPT，用了很多人工去训练这一个模型。比如这个模型它可能生成了一些文本，人类就会告诉它这个是好还是不好。只要数据点足够多，不断的训练它，它生成的最后的内容就会跟人类生成的内容越来越像。这就是为什么 ChatGPT 它会很有逻辑性，主要就是从模型结构和训练方式上面都会使它比较有逻辑性。
何 流 ：刚才 Jenny 对于这个模型的描述，让我觉得这个模型其实就跟个小孩似的。你训练这个模型其实就像是在养小孩。他这个小孩出生，这模型出生，有自己的大脑，有一些基本可以感知世界的能力。过去可能是能念一个词，后来能念一行词，到现在它可以念一整篇文章。但同时它最终产出的判断，对于世界的观察，很大程度上取决于你怎么训练它。就像是一个小孩，如果没有上好学，如果没有读好的东西，可能它能有的想法，和一些其他训练方式的就不一样。我其实好奇 ChatGPT 是怎么训练的？我猜设计者们也希望它能有一些好的判断，最终能够帮助人类去做决策，理论上讲，你应该做的决策比别人更强。在训练的过程中，你怎么能够保证最终机器所产生的判断就是准确的？而不是放大一些人类本身就有的偏见，本身就有的错误的信息。
Jenny ：对，我觉得这是一个很好的问题，但是同样说起来也非常的复杂。首先是在预训练的时候，会用人类的反馈去看 GPT 模型生成的内容，到底人类是满意还是不满意？其中一个标准就是：它是否生成，比如暴力、色情、种族歧视、政治偏见这样一些内容。另一种就是在设计这个模型的生成内容的时候，首先是预训练，后来是生成内容的时候，会设置一些过滤网。比如你要模型去生成暴力色情的内容，模型可能就不会生成，而是直接跟你吐出一段话，说这个违反了 OpenAI 的人工智能生成的政策。所以这是两种方式，可以保证模型生成的内容是不带不良内容的。
当然，最近推特上面被刷爆了，各种各样的人如何去引导 ChatGPT 生成不好的内容？实际上，有很多不同的方式都可以引导模型去说一些在书面上是被禁止的内容。一个方式就是你让它去生成一个模拟的对话，可能假设 a 和 b 说一段话，a 是一个有种族偏见或者性别偏见的人，这个时候模型还真的会生成一些不好的内容。这也是目前模型的不足之处：它没有办法完全去限制不良内容的生成。
何 流 ：也不只有 OpenAI 一家想做这种具有通用型人工智能潜力的模型，不同的公司之间有什么区别？像 DeepMind，包括中国也有智源，他们之间的模型是都差不多，只不过效率不一样，还是其实背后的底层架构就不一样？
Jenny ：这个模型的底层架构是属于有非常多的相似之处，因为现在比较常用的一个模型就是 Transformer 这种架构，很多模型都会利用 Transformer 这样的一个架构，如果是文本生成图像的模型，它会用 Diffusion 这一个模型架构，所以模型的基本结构是有很多的相似之处的。这一些不同的公司、不同的组织有什么区别？我觉得其实现在越来越卷，区别也就越来越小了。之前是 OpenAI 和 DeepMind 在做这样的预训练大模型。OpenAI 和 DeepMind 又有一些细微上的不同。因为 OpenAI 不会去做生物化学之类，但是 DeepMind 它就会去做 Alphafold 这样一些模型，而 OpenAI 更专注于做语言模型。OpenAI 当时是比 DeepMind 小很多的一个组织，现在 OpenAI 的人数增长得非常的快，已经有两三百人了。之前可能 DeepMind 八九百，一千人，OpenAI 只有 100 人。
网页链接：https://alphafold.com/
现在这个赛道其实越来越卷。像美国就会有很多，包括别的国家，很多公司都是做预训练大模型，比如 Adapt，也就是 Transformer 这样一些 author 出来做的公司。还有 Inflection AI，是 LinkedIn 的创始人 Reid Hoffman 创立的一个公司，也是做预训练大模型的，也有加拿大公司做这个，以色列有 AI21 Labs，中国有智源研究院、百度、阿里达摩院，基本上国内的大厂也都在往赛道上去走，所以现在赛道是越来越卷的，大家做的事情也越来越相似。
何 流 ：它越来越卷，是因为这个技术它是开元的，反正 Transformer 的论文发出来大家都能用，就看谁有钱能跑系统，能训练，把这练出来，大概是这逻辑吗？
Jenny ：是的。其实 Transformer 模型，除了技术人员的工资很贵，另外一个它的算力非常的昂贵。OpenAI 当时算 GPT3 的时候，是花了 500 多万美金才算得出来。现在一些模型可能只需要花 60 万美金，比之前要便宜很多，但这个价格仍然不是一般研究者可以承担得起的。我觉得这些公司之间主要比两个：一个是比谁的算力更大，可以支撑得起更大的模型；另外就是比这一个公司谁的工程师更厉害。因为模型的架构大同小异，但模型调参需要非常有经验的工程师。如果你能够在模型架构上有这样一个很大的进步，其实也可以使你的模型一下子脱颖而出，给大家一个印象。这个模型其实跑出来不难，我自己在电脑上就跑过这种 Transformer 模型，因为它就是 Python 的 code，跑出来不难，但是你要训练出来，要调参，要算力很多，要有非常好的一个工程背景，这个非常难。
何 流 ：我觉得这是一个挺典型的那种科技创业的故事。早期可能是几个人在自己的宿舍里、图书馆里写写码，有一个新的想法，我们要做机器学习或者 Transformer，我们要做 model，在自己的电脑上写一写，可能几个人写个论文就可以创业了。到晚期，越来越多的人知道这个东西是怎么回事，知道技术是怎么回事，就成了一个资本和人才的游戏。谁有钱、招人、上机器，谁就可以规模化，谁就可以把自己的程序跑得更好。
Jenny ：对，就是这样。现在资本市场对于类似 OpenAI 这样的一些公司捧得特别的高，因为主要是现在 AIGC ，AI生成文本，还有 AI 生成图像这些技术非常的火。前段时间 Stability AI 好像刚融了一亿美金的种子轮，我们当时都惊了，种子轮可以这么大吗？当时 Coatue 还有 Lightspeed Venture，这个种子轮的 lead 真的往里面投了很多钱。现在资本市场上 Transformer 模型特别的火。
何 流 ：可能因为有钱人意识到这个玩意也没什么技术门槛，就是谁砸钱多，所以从第一轮就开始拼命砸钱。
Jenny ：不一定是这个道理。很多东西都需要砸很多钱，比如做硬件，但硬件就没有人愿意往里面砸钱。硬件其实一定程度上也是砸钱越多，工程师越好，团队越好，硬件就做得越好。而且硬件的创业公司需要的钱会比软件要多很多，但没有人愿意往里面砸钱。因为硬件你看不到它马上的回报，要很长，10 年，20 年。但是软件现在砸钱可能五年之后就可以有效果，所以很多投资人愿意往里面砸钱，他们看到了这个东西商业化的道路。
治 霖 ：如果大家都这么想会不会出现一种情况：这个软件基于它的硬件的算力和结构设计是有天花板的，卷软件卷到头了，到时候行业不又陷入一个停滞的状态了吗？
Jenny ：其实是有一定的这种风险的。所以现在一定程度上，也有卷硬件的一个趋势。卷硬件的趋势在国内更加明显，在美国更多的是卷软件。当然美国也有一些基于人工智能硬件的创业公司，比如我有一个朋友，他们创的一个公司叫 Fast Radiant，他们希望能够把人工智能预训练的费用降低到之前的 1/ 30，把它的效率提高大概 30 倍，这也是一种卷硬件或者硬件创新的一种模范。国内主要是因为中美关系不断交恶，美国对中国实行了很多限制，所以国内现在硬件行业上面比较卷，也是因为中美关系形式的问题。
何 流 ：和 DeepMind，OpenAI 比，中国人工智能它的能力到底怎么样？听你刚才的描述，我感觉不应该有太大的区别，因为反正大家都是这个技术，看谁算力多，人力多，钱多。
Jenny ：我觉得国内的技术可能比美国要晚半年到一年，说晚也不晚，但是齐头并进也算不上。举一个很简单的例子，美国的 OpenAI 算出了 GPT3 之后，差不多一年之后中国才发布了跟 GPT3 同样大小的模型，就是悟道 2.0，当时是智源发布的。当然中间还有很多别的模型，比如盘古，还有其他大的语言模型，但是中国基本上会晚个半年到一年。另外中国这些模型，它的应用能力跟美国的模型相对比，其实是很难比的。因为中国的模型很多时候是在中文的文本上面进行预训练，而美国模型的中文能力很差，所以你没有办法一对一去对比。
我觉得现在中国的人工智能产业普遍有一种印象，过去的三五年，中国的人工智能看着都已经要赶上美国了对吧？特别是在应用领域，已经超越了美国。但是现在预训练大模型出来之后，中国的人工智能应用反而是比美国要落后了一到两年的时间。比如我们现在在美国看到了，各种基于 GPT3 和其他的大模型的这种 APP，像 Jasper.AI 与 Copy.AI 这样的模型，其实中国现在离这个还有半年到一年的时间。
治 霖 ：我倒是有一个印象，因为总觉得过去几年的一些大的新闻，比如 Alpha 0，Alphafold，到现在 ChatGPT 感觉都是 DeepMind，OpenAI 在弄。我不清楚你刚刚说国内的应用之前在某些方面还领先美国，是哪些？比如说像人脸识别或者是别的什么，我不清楚这里面有什么区别。
Jenny ：我觉得是这样的，中国在人工智能技术上面是从来没有赶超美国的，这个是大家都公认的事实。中国从来没有在人工智能的基础研究这层，赶超美国。但是现在一个问题，基础研究和应用之间的联系变得越来越紧密了。比如人工智能的创业的热点是由基础技术的推进而推动的，过去像大疆这样的一些，还有包括中国的一些人脸识别的这些公司，它的基础技术其实是一直落后于美国的。但是它数据点足够多，它应用端做得足够好，它就可以在用户体验上面，甚至比美国的这些 APP 要更强。现在基础应用越来越重要，这也是为什么现在国内政府政策越来越希望去引导这些公司做基础的研究。
何 流 ：国内有这么多人工智能公司，像第四范式、商汤科技，但是在你刚才的描述里面，你完全都没有提到国内的人工智能，你直接就去了阿里，去了智源，这是不是意味着人工智能领域的创业公司也有迭代？过去我把数据搞到，拼命训练我的算法，我产品就可以比别人做得好。像人脸识别这种领域，未来可能必须得有这种通用型的算法，再去想我能在哪儿做应用，没法上来就针对一个应用领域去开发技术。
Jenny ：我觉得我刚才没有提第四范式和商汤这样一些人工智能的公司，主要的原因还是这些公司它跟阿里、腾讯还有华为这样的公司发展的领域不一样，他们主要是做机器视觉的方向。而百度，它在做人工智能的时候主要是做语言模型，相当于百度做搜索引擎，它肯定会愿意去学习 OpenAI 这样的大语言模型，去做中文版的，还有华为做手机，也肯定愿意去学习。但是比如我公司本来就是做人脸识别的，我为什么要去做预训练大模型？很贵，要招人又很难，要去做算力又很贵。除非是像学术研究机构，像智源这样的学术研究机构，或者是本来你公司就非常依赖语言模型，否则你不会去做。
治 霖 ：我觉得刚刚聊了挺多大模型的发展和对现在应用的启示。我就很好奇，大模型就是未来人工智能主要的发展方向吗？因为感觉人工智能过去有几波不同的技术浪潮，比如现在这种基于深度学习和神经网络的一套架构和范式，你认为未来几十年内还依旧会是主流吗？还是会有新的东西出来？
Jenny ：我觉得肯定是会有新的东西出来。我也看到了很多学者去预测 Transformer 模型到底能够持续多久？一般人工智能一个阶段可能会持续个 5~10 年，可能 2017 年开始的潮流到 2025 年或者 2027 年就开始结束了。可能大家觉得这个模型到了一定的程度，能力没有提升得那么快就会换到下一个模型结构。而下一个模型结构到底是什么？我觉得这还是要打一个问号，但一定会换，这个是肯定的，不会一直基于这个模型一条路走到黑。
何 流 ：它会自己选择数据吗？首先我觉得人的智力和机器的智力有的时候是一个挺尴尬的比喻。可能我们有时候有点过度的把机器想象成了人，想人能干，机器能不能？我估计这样的类比是有边界的。但是如果先抛开边界不说，我就在想，人在学习的时候是你给他一堆东西，读完了，他可能觉得，这个东西有意思，我自己再去找别的东西去看，慢慢地自己训练自己。训练人工智能呢？是我给它一本书，它看完了，我再给它一本书，训练者不断地给它书，还是其实在一定时候它就自己去想怎么提高，自己找一些东西自己去学？
Jenny ：某种程度上 Instruct GPT 跟这个有一点像，你问它一个问题，它可以自己去网上搜答案。但是我们目前训练人工智能的方式，还是人给它技术，就是人给它非常精细化的反馈。但是我觉得不难想象未来你去训练一个人工智能，能不能像 Instruct GPT 这样的方式去训练，我觉得是很有可能的。你去让人工智能自己去寻找这样的一些数据，自己去训练自己。我觉得这个技术其实离现在不远。
何 流 ：我感觉听起来通用型人工智能就不远，因为只要它能自己学，你给它一个问题，它就自己去找答案，跨各领域搜索。这不就已经是通用型人工智能了吗？
Jenny ：当时 Instruct GPT 出来的时候，就有很多人担心这玩意是不是通用人工智能。但是实际上你要让它成为通用人工智能，你就得要它取代人的基本的一些能力。但是目前 InstructGPT ，包括现在的 ChatGPT，很多时候你跟它多聊一会儿，发现它还真的没达到人的对话能力，包括它能不能够一直生成你满意的内容，其实也是要打一个问号的。另外就是它能不能够去做一些更精专的事情？也是需要质疑的。比如它能不能写法律文件？它能不能够完整地写代码？包括它能不能完整地完成一个很长的对话？目前的技术来看这些都是有一定的问题的。
治 霖 ：如果继续用孩子学习的比喻来说，孩子确实会自学，但其实很多时候也是老师或者家长，或者社会环境在推着他学。可以想象，如果这种督促被拿走了，很可能孩子也没有那么强的督促。这里似乎有一个很大的人和机器的区别：人某种程度上不是一个机械性的输入指令就输出行动结果的，似乎还是有自己的主观想法的。我们有主观能动性，去追求自己想要的，或者有自己的任务想去实现，但这种主观想法是不是在 AI 里面还离得很远？
Jenny ：举一个很简单的例子：人工智能现在已经可以把一个比较复杂的一个事情拆分成步骤进行决策。比如你问一个人工智能，这道数学题到底该怎么算？它就会说这个数学题可以拆分成 3-4 步，推理完成之后，可以达到这样怎样的结果。但是它没有办法在非常复杂的领域操作。它可以帮你解一个数学题，提供论文的步骤建议，但是它没有办法自己去执行这个事情，除非这只是文字游戏。你要去做道菜，人工智能没办法跟你去超市购物一趟。人工智能现在不存在这样的执行力，它只能跟你玩文字游戏，这在很大程度上也限制了人工智能的通用性。
何 流 ：或许我不知道应该怎么看待这样的通用性，我之前也听 Sam Altman 讲过人工智能：通用型人工智能可以替科学家去做科研，可以替工程师去发明新的机器，可以去写论文。但是在现实社会中，如果要完成一项科研，并不是光写代码，光写文章就可以了。你得有实验室，你得有人力，你得去现实世界中去采样，去做实验，有无数个要和真人的物理世界去交互的地方。未来限制我们科研发展的东西，可能不是所谓新想法的生成。人工智能一定程度上可以做这种新想法，但是物理世界的限制仍然存在。
哪怕到了那一天，人工智能已经变得相当强大了，以后新药的研发，或者新软件算法的诞生。在我看来，把人生产想法的功能去掉，人其实好像就变成了帮人工智能去实现意愿的一种工具。人工智能说要搞这个药，怎么搞？剩下科学家们想一想应该找谁，应该联系哪个实验室，应该跟谁去做合作，我们在现实世界中帮机器把算法跑出来。一定程度上我们把其实很主要的决定权和控制权交给了算法，反而人变成了技术环节，而不是现在这样，人作为目标的制定者，让机器去跑技术环节。
Jenny ：对，我觉得真的很有可能会颠倒过来，我是很认可的。实际上我们的现实社会已经颠倒过来了。比如在美国有很多年轻人喜欢用 Instagram，特别是一些女生很喜欢自拍，某种程度上是被人工智能算法模型给驱动的。我去拍自拍，我花了一个下午的时间去摆拍化妆，我就是为了让人家给我点赞，点赞的这个刺激就是机器给我的反馈。或者是很多人花很多时间去看推特，推特是人生成的内容，但是推特上面也有很多语言模型生成的内容，其实是人被机器所控制了。我觉得现在我们总是会很夸张地认为，未来人会被机器控制，人成了机器的助手。其实现在某种程度上，人已经在为机器服务。
治 霖 ：这让我想到很著名的黑格尔的主奴辩证法：就是这个奴隶主认为自己是主人，但实际上他的生活是由奴隶决定的。如果奴隶不理你了，或者不给你干了，生活就会崩溃，你反倒是被奴隶的行为所控制。不仅是人和技术，在当代社会也是。我们认为金融家、资本家是上层阶级，但实际上人的生活主要是由清洁工、外卖小哥、垃圾递送员组成的。如果哪天金融家不上班了，你发现这个世界没什么变化，要哪天厨师、外卖小哥，医生不上班了，这个社会秩序就崩溃了。好像这种，无论是在技术还是当代社会或者古代社会，这种主人和奴隶之间的不断变化，一直是一个主题。
何 流 ：顺着刚才治霖说的，我感觉可能我们内心还是个文科生，人工智能可能很多人就把它当个技术问题，技术能发展到哪儿？我能做哪些功能？一个功能做下来，这里面有各种创业公司出现，政府还要去管他们。这是在非常现有的一个想象力当中去思考人工智能。但就像今天我们不能讲贫困是个技术问题，对吧？它真的是贯穿社会始终。资本不是一个技术问题，不是你有钱，它是一整套社会结构对于人的预期的塑造，甚至对于人的自我的塑造。我是谁，很多时候就取决于我消费什么东西，我买什么东西，我看什么东西，这都是资本市场给你的。包括甚至像很多女权主义者批判父权结构。那父权结构本身也不是个技术，是在你生活方方面面渗透的，无论你选择还是不选择，你都在被它所塑造着。
在我听下来，人工智能未来有可能也就成为这样一种社会力量，或者它都不是社会力量，它是政治力量，它是技术力量，它渗透在我们生活方方面面。技术有技术对人的影响，你也不能说它是谁的主观意志，就像你不能说资本是谁的主观意志；或者市场是谁的主观意志；父权结构是谁的主观意志，不是个人的，能说就是这个人的错让这个世界有了这个东西，它是大家一起参与之下的。不断互动强化，但同时又在影响着我们的方方面面。甚至可能我们怪人工智能，就像我们怪贫困，怪父权社会。其实你没法说这就是谁的错，让这个社会问题变得几乎不可解。因为你没法说从哪改，你只能说我不喜欢这东西。
Jenny ：确实是这样我觉得。现在在西方的社会舆论当中，有很多怪人工智能的趋势，包括很多女权主义者，还有一些少数族裔，就会说人工智能非常的歧视女性或者是歧视少数族裔。到底这个东西是哪来的？其实也没有办法说真的是哪个人工智能的研究者造成的，而是预训练的数据它就带有种族歧视。比如你如果跟达利或者文本生成图像的模型说，生成一个漂亮的姑娘，它十有八九不会给你生成一个黑人女生，它十有八九会生成一个白人女生。这是为什么？就是因为在西方的审美环境之下，白人就是审美的标准。
治 霖 ：我印象里还有一个例子，是另外一个我们共同的好朋友跟我说的，他是做人工智能和动物福利研究的。大家觉得这两个领域好像离得很远，但他跟我举了一个特别具体的例子：如果你去谷歌或者百度搜索 chicken，它给你的一定是做好的汉堡、炸鸡、鸡腿，很少会给你一只在农场里活着的鸡的图像。至少在我们社科学生的眼里，没有什么东西绝对是技术性的，是跟人类社会价值观无关的，它本身就内嵌了非常多我们现有的各种价值观和判断在里面。但这个问题好像是个挺尖锐的问题，好像最后技术是解决不了的，还是得回到我们人类自己。
何 流 ：有人说不同的科技应该有不同的顺序。比如人类发明病毒的能力，基因编辑这些能力其实挺危险的。所以我们应该先把制造疫苗的能力搞出来，再去想病毒的基因编辑。这样有一天，万一我们真的创造了一个病毒，至少我们有疫苗，可以防住我们自己产生的这种风险。当然，历史中很幸运，在病毒这件事上，我们确实是先拥有了疫苗，然后再学会了基因编辑，再去做病毒的这种研究。在其他领域比如核武器，我们先把核武器搞了出来，根本就不知道怎么去防止核武器对人类的毁灭，我们就先把这武器弄出来了，弄得整个冷战中全世界都战战兢兢的。美国要不要扔原子弹？苏联要不要扔原子弹？朝鲜要不要扔原子弹？在人工智能这件事上，如果它对社会有这么大的潜在的风险，无论是不是生存性的，无论是不是好辨认的，我们是不是也应该慢下来？先想想怎么预防未来这些风险，等把“人工智能疫苗”搞好了再去提升人工智能能力。
Jenny ：我觉得很有意思的一个点就是：文科生、社科生、理科生、商科生，思维方式的差异是非常非常大的。因为我也是学文科社科出身的，但现在更多在一个理科商科的环境之下工作，我就发现可能文科生或者社科生会考虑这个世界应该是怎么样的，我们应该做什么；而商科生和理科生更多去考虑现在可以做什么。很多时候我会觉得一些理想化的讨论确实是很有必要的。
但是另一个层面上面，到底能不能做到？我们能不能先去发展对人工智能的防御能力，再去发展这个技术？目前从研究员的群体，以及从商业的群体角度来看，这个是很难做到的。因为总有资本愿意去投这些领域，总有研究员愿意去做人工智能的技术发展的这样一件事情。就算我们应该先去做防御，再去做这样的一些技术发展，实际上能不能做到？我觉得这是需要讨论的问题。
何 流 ：但世界也不是没有过限制科学技术发展的例子。像克隆技术非常诱人，很多资本公司都有可能在克隆这件事情上赚到大钱。但是现在社会有个基本共识：至少克隆不能在人身上发生。这种红线在科技治理的时候，我们应该有一定程度的共识，有一定的决策方式。可能是这些大政府到一起，或者这些大公司到一起，大家有共识，人工智能有毁灭世界的潜力，有巨大的伦理风险，所以哪怕这里头可以产生无数个公司，咱们还是得先等等。看起来在 AI 领域没有发生这件事情。
它到底是因为技术上不可能，所以我们不应该担心？还是商业有商业的逻辑？就大家还是挺着急，所以他用他自己本身的利益集团，通过各种方法，无论是科普也好，资本也好，还是对政客的说服也好，去塑造一种新的共识：其实人工智能没事，你不用去考虑社会学家或者科幻小说写的这些东西，其实根本就没事，我们离那个地方还远着。但其实资本所说的 5~10 年是市场的远，投资人可能一两年都觉得远。但是从社会的时间线来看，就已经非常非常近了，哪怕 100 年内我们搞这个东西，都已经非常近了。像今天的气候变化是个 50 年、100 年的问题，我们都觉得这个事情都快要无解了，人工智能如果是个 5 年、10 年、20 年的东西，我们怎么还能够乐观？
Jenny ：问题在于，现在不需要去塑造这样的共识。现在的共识就是人工智能不会有生存性的风险。你随便在硅谷很多创业公司去问一圈，真的觉得人工智能有生存性风险的人可能不到 1/ 10，1/ 5。特别是在国内创投圈，大家根本没什么人认为人工智能这个东西有生存性的风险。很明显就是现在这个技术没有让人认为它有这种生存性的风险。哪一天这个技术真的展现出来它可以杀人，或者这个东西真的可以导致很大的破坏，那个时候公众舆论可能会产生变化，大家的思维方式也会产生变化。
另外你们提到了政策层面，如何制定政策去限制人工智能的发展？我觉得现在政策导向正好是反的：中国和美国政府都在想促进人工智能的发展，跟对方竞争。美国就特别怕中国哪一天的人工智能超越了美国，中国就特别怕被美国卡脖子，一定要发展出自己的人工智能技术。所以去做人工智能生存风险的事情就是一个逆流而上的事。你要跟科学家说，你别做这个事儿了；你别发文章了；你别做研究了；你饭碗也不要了；改行去做别的事儿，你还要跟资本家说你别投这个领域了，你还要跟创业的人说你别去创这个方向的业了，你还要跟政府说你别去跟别的国家进行竞争了。这个事情本身就是个逆流而上的事情，会非常非常的困难，并不是不应该去限制，而是如果要去限制它，是个非常非常困难的事情。
治 霖 ：我感觉在我们刚刚讨论这种，人工智能生存性风险和安全领域，大家采取的主要立场不是在限制它的发展，或者希望减速，主要是要，比如技术上对于人工智能的安全有更好的突破，或者想至少先对这个问题引起更多人的意识。是这样一种策略吗？以及 Jenny 你觉得这样的策略是行得通的吗？
Jenny ：我觉得这样的策略一定程度上是行得通的。像 OpenAI 和 DeepMind，第一个他们会非常在意自己公司的荣誉，如果他们的语言模型去生成一些不好的内容，或者是模型出问题，他会非常在意。具体的例子就是去年有一个 APP 很火叫做 AI 当政，你可以用 AI 模型去玩这个游戏，可以跟 AI 进行对话。模型生成了很多黄暴的内容。OpenAI 的政策组当时是阻止了模型进行这样的内容生成，就是公司要有足够强的荣誉意识才会去推动这个事情。
第二个，公司得有足够的资金才能去支持人工智能安全的研究。很多早期的人工智能公司，90% 都不会有自己的人工智能安全组，为什么？因为早期公司它本身资金就很紧缺，它肯定首先要注重发展自己公司的业务，公司产品做出来了，业务做出来了，才有钱赚，不然公司没办法生存下去，你也没有办法继续进一步发展。
所以早期公司肯定会着重看人工智能的技术和产品，基本不去招人工智能安全的人才。晚期的公司可能已经融资到 C 轮、 D 轮，或者是已经上市了的公司，这样的公司在资本市场比较好的时候愿意去招一些人工智能伦理或者是人工智能安全这样的人，一旦进入资本的寒冬，公司面临着紧缩的压力，跟公司业务不直接相关的人就面临着失业的风险。资本市场其实是个很残酷的市场，大家还是以逐利作为第一导向。除非公司很有理想，资金很充足，否则你要真正去做人工智能安全的研究，还是比较困难的。
何 流 ：资本在其中的力量，一定程度上把双刃剑两边都磨得更加锋利。一方面有资本的助推，更加先进的科技可以更快速的出现，同时也正是如此让这些风险离我们越来越近，让我们越来越依靠人工智能。哪怕有一天真的人类社会达成共识，想消灭人工智能，可能都没这个能力。因为不存在这种开关。就像今天我们用电，不存在一个开关把全世界电停了。如果人工智能已经成为了世界基础设施的一部分，也不存在一个开关，有一天把人工智能给停了。
在这种环境下，像刚才 Jenny 描述的这些人工智能公司，可能他不认为安全是最优先投资的东西。我得先把模型跑起来，把技术搞好，先把产品做出来，有人买单了，我公司能存活下去，能给投资人交代了，咱们再来聊安全问题。如果我真的出错了，你再来管我，我没出错，你不要管我。我觉得这是挺典型的公司的逻辑，也非常符合资本里面逐利以及短视的问题。投资人反正认为我今年投了资，明年最好能退出，明年退出不了，5 年之后你得让我退出。但是我没有能力在 30 年、50 年、100 年甚至 1000 年的维度上去思考问题，所以在我听起来是挺遗憾的。
人工智能可能给世界带来一些好处，但是以我们现在的世界结构，通过资本市场去发展人工智能，甚至通过政策去发展人工智能，中美关系之间的竞争其实也不是对安全有利的。这就有点模仿当初核武器的军备竞赛，它不是从世界安全的角度出发，而更多的是，我要比他强。在零和游戏当中，你强了，我就弱了，我强了，你就弱了。政治的因素在推着双刃剑变得更加锋利，资本的因素也在推着双刃剑变得更加锋利。我们这个世界还有什么希望？感觉当我们获得无限权力的一天，就是我们自我毁灭的一天。
Jenny ：对，我觉得何流的批评非常的尖锐，我觉得我是一个现实主义者。国际关系里面有一个学派叫做现实主义，现实主义认为国家之间就是会竞争，会以自己的利益为主的。现在主导人工智能市场主要是两股力量，一个商业，资本市场在推动人工智能的发展。特别是模型越练越大，需要注入的资本越来越多，这个模型何去何从其实还是资本说了算。另外一个方面就是政策，政策会限制到底什么能发展什么不能发展。这是我自己的看法。我自己为什么会去学国际关系，以及为什么现在会进入资本市场，就是因为我认为只有政治和经济这两股力量对于人工智能的发展是有很大影响的，我会觉得其他的力量是间接作用于人工智能的力量，而政治和经济是直接作用于人工智能的力量。所以你拥有这样的力量之后，你可以促进它向善，也可以让它变得更逐利化，或者技术竞争更白热化，它只是你的工具，你可以去用它，它是一个很有效的工具。
治 霖 ：我感觉何流刚说的例子是资本在促进每一种新技术的时候都可以应用，我的问题就是更直接：为何 AI 如此特殊？为什么我们这么担心 AI？好像 AI 就是一个超越级别的技术，会深刻的改造世界，所以资本对 AI 的促进才让我们如此的担忧。
我看过一个中国哲学家的理论：西方社会尤其担心 AI 的原因是在宗教退场之后，人超越了上帝，成为了这个世界上最上层的一种存在。如果 AI 出现了，它的能力存在超越了人类，它又成为了一个高于人类的存在物，所以对人造成了一种存在论级别的挑战。在个人主义盛行的西方，在人是这世界的主宰的西方，这是特别让人担忧的一件事情，但这个事好像在中国没有发生。因为在中国文化里，人战胜上帝的这套叙事，在历史上是不存在的。我们刚刚听你说了很多 AI 没那么值得我们担忧的一面，我还是想听听，Jenny 你认为 AI 有没有它特别特殊的地方是值得我们一定要抓住的，一定要去关切的？
Jenny ：我是觉得，AI 在短时期之内没有特别值得担心的点主要还是因为技术发展不到位。但是长时期来看，AI 确实是人类的一个生存风险，特别是 AI 它可能会成为第一个，比人类更加智慧的东西，这个是很可怕的。如果 AI 它成为了一个普通人，有普通人的智力水平，我不觉得很可怕，因为普通人也造成不了很大的威胁。但如果 AI 它在某一个方面，甚至多个方面超越人类很多，以及它如果能够跟我们的物理世界相结合，那么它就会对人类形成一种威胁。
从生物进化论的角度来说，为什么人类现在成为了主导世界的一种生物？为什么人类可以对其他物种产生现在的这种控制？本质上而言，还是人类拥有更高的智慧。你去想一想，AI 如果超越了人类，它为什么不能够去驾驭人类？同样的道理，我们应该要担心超越人类的人工智能。因为人类超越了动物，人类是怎么对待动物的？AI 如果超越了人类又会怎么对待人类？短期之内不会成为一个大的问题，但是长期来看，三五十年，我觉得一定是需要我们去仔细去思考的，要积极预防。
何 流 ：其实刚才这个类比挺有趣的，人类的智力超过了动物，人类在全球去奴役动物。当有一天人工智能的智力超过了人类，人工智能可能也会奴役人类。这种类比其实还是基于对于人的假设，再去投射到人工智能身上。但我觉得一种回应的方式就是：人工智能没想的那么坏。人是挺坏的，人类的历史文明之中，无数次杀戮，无数次灭绝，无数次道德灾难，那是人的事，人工智能不会这样，不要把人工智能想得这么糟。肯定也会有人在这方面去做工作，去写小说，去写歌，去做研究，发现其实人工智能挺好的，它并不是百分之百的邪恶。另一种回应可能人工智能糟糕是因为训练，人工智能都是跟人学的算法，人类工程师去用怎么教人的方法，带着种族歧视，带着性别歧视，带着各种歧视去训练人工智能，这种人工智能训练出来，当然就是想象的那样，会去奴役其他人，因为这个就是照着人类自己的形象，照着人类自己的思想去造出来的东西。
有没有可能有第三条路？在这种训练过程中，我们很难天真地去为人工智能说好话：其实它根本没事，其实不用担心，其实人工智能挺好的。它可能会做一些好事，有可能会救人，它能实现各种功能。但同时它在不断地放大人类社会本身的这些矛盾、困惑以及很丑陋的一面。在发展人工智能的过程当中，是不是要有某种机制去重新去教它，就像教小孩一样，这些歧视的东西我们应该去掉。可能人工智能就不应该学所有东西？它可能应该学最好的东西？他应该他只需要去读这些最好的文章，他不需要把所有文章都读一遍。那在这种判断好与坏的过程中，可能又有新的人类偏见，这件事情它是可解的吗？是我们只要让人工智能有更好的数据，我们就能让人工智能变成我们想要的样子吗？还是这个东西其实在根本上就不可解？
Jenny ：我觉得这是一个很有意思的问题。现在我们在预训练大模型的时候，就已经采取了一些措施，去筛选预训练的数据。比如中美这些公司，包括中国的阿里巴巴，中国的浪潮，在训练大模型的时候，他们都是说我们要把暴力、色情、歧视的内容给筛选掉。包括 OpenAI、DeepMind 在训练模型的时候，也有同样的措施。问题是没有办法百分之百都筛选掉，这是一个很大的问题。另外数据本身它就带有一定的歧视，比如刚才说的漂亮姑娘到底是白人还是黑人这个问题。
另一个问题：到底什么为歧视，什么为不良的内容？其实每一个时代都会有不一样的答案。如果回到上世纪美国的 50 年代，种族歧视可能就是理所当然的。AI 如何跟人类的价值观一直保持与时俱进？其实每一代新训练出来的模型还得用当代的价值观还有当代的数据去进行训练。
治 霖 ：我觉得特别有道理。就像 Jenny 刚刚说这个问题，人类每个时代的价值观都很可能存在巨大缺陷。上世纪 50 年代我们还种族主义，现在人类社会还普遍接受吃肉是正常的，是没有问题的，我们还接受物种主义，还歧视别的物种。感觉这个问题就在于，我们希望教给 AI 向善的价值观，不是简简单单把暴力、色情、种族歧视和我们现在已知的这些特别明确的不良信息剔除之后，就是那个人类的好的价值观，就是能够像教小孩一样教给 AI 的一个值得追求的价值观了。这里太复杂了。你怎么能代表这一代人类最好的价值观？又把它精确地筛选出来？以及你怎么知道你这一代的价值观不是存在巨大的道德缺陷？我们又没法想象一个更好的是什么样，因为我们本身就被这个时代局限着，感觉特别不可解。
何 流 ：比如如果你回到上世纪 30 年代， 40 年代，纳粹德国发明人工智能，纳粹德国所宣扬的价值观就是反犹太人，把犹太人都抓到集中营里。如果他有了人工智能，那他的价值观就意味着我可以最有效地去灭绝犹太人。这是在当时的德国很有市场的一种道德观念，我不是说今天的人就是纳粹，今天的人就是希特勒。但是今天也仍然可能有正在发生的道德悲剧，只不过现在没意识到而已。100 年以后你可能意识到：哦，原来当年我们做的事情这么愚蠢。当年纳粹德国觉得自己光荣，帝国主义像英国在非洲殖民也觉得自己很光荣，当年奴隶主也都觉得自己很光荣，包括资本家。没有人是在自我批判和自我否定当中去做这些事，都是觉得应该做。只不过后来我们道德观念有进步，发现其实当年是巨大的错误。今天我们也有可能在犯巨大的道德错误，只不过我们自己都没有意识到。听起来如果人工智能只追踪我们当下的价值观，那它其实是一个特别好的作恶工具。我们的歧视，我们的偏见，我们对于少数族裔的打压，甚至是在这种社会结构中对人种的灭绝，都可以通过人工智能去放大。
Jenny ：对，我觉得这个确实是一个问题，而且你没有办法预测到底什么是好的价值观。回到现实主义，主要是看人工智能的能力，而不是看它的价值观。你的能力到了一定的程度，你就应该担心它，不应该说它是好的，我就不担心它。而是说人工智能只要掌握了足够多的资源，有足够强的思维能力，你就应该担心它。无论他是善还是恶，你得把它往最坏的地方想，因为这个最坏的情景，它可以决定你如果跌落能够跌得多深。所以我觉得人工智能的价值观其实只是一个层面，更重要的一个层面是人工智能的能力到底有多强？这个能力值不值得担心？
何 流 ：这让我想到之前有看到的一些观点认为区块链和人工智能代表的是两种对于社会的构想，这种观点认为：人工智能代表的是某种集权社会，区块链代表着某种分权的自由民主的社会。人工智能的集权来自于开发算法的能力都是几个很大的公司，在英美也就那么一两家，在中国一两家。全社会给他们的数据越多，他们的能力越强，越可以做事情，权力就越集中。甚至有些人会想象，是不是有一天全世界只有硅谷和中关村是亮着灯的，所有其他地方百废待兴，一片萧条，因为这世界可能只需要硅谷和中关村就可以了。这是一种集权的未来，代表着人工智能发展到最高阶段可能会出现的终局。而区块链就让世界分权，每个人应该拥有自己的数据，没有单一的人掌握这么大的权利。
我不知道这样对于人工智能的看法是不是准确的，因为我们刚才说了好多看起来无解的问题，一方面可能是人工智能，另一方面也是它的权力太大了，可能社会就不应该有这样一件事情掌握这么大的权力。只要你有这种权利，就一定会有这种问题。今天是人工智能，明天可能就是人，或者是其他的社会机制，在这点上来讲，人工智能遇到的问题可能没有特别的，就是单位权力太大的问题。
Jenny ：对，我觉得这个说法可能跟现实差异很大，人工智能是集权，区块链是分权。我在硅谷做投资，所以人工智能项目和区块链项目都会看一些。我感受很明显的就是人工智能并没有那么集权，算力是比较集中的，但是现在人工智能越来越便宜，训练人工智能的价格越来越低，从以前的 500 万下降到现在的 60 万美金。未来的发展趋势或许是：训练人工智能越来越便宜，越来越多的小公司可以训练自己的模型。还有现在另外一个趋势，原本是使用 OpenAI GPT3 模型的公司，包括 Jasper，他有了足够的实力之后会训练自己的模型。包括很多模型都是开元的，像 Eluser AI 的 GPTX，还有 GPTJ 和 GPT Neo 这样的模型都是可以直接在网上调用的，包括 Stable Diffusion。而且这些公司也不傻，他觉得我一定要掌握自己的数据，一定要掌握自己的模型，不能够一直依赖 OpenAI 和 DeepMind 这样的大厂，特别是 OpenAI，它提供 API 的服务，所以这些小的公司也会造自己的模型。某种程度上它是越来越分权的，特别是小公司自己马上一个一个发展起来之后，也有各种各样的创业公司会出来挑战 OpenAI 和 DeepMind 的地位。
另外，区块链它到底是不是分权？我觉得现在区块链正好跟分权是完全相反的，区块链是一个集权非常严重的产业。很多时候我们都不掌握自己的钥匙，我们都是托，比如区块链里大的 Brokerages 或者 Exchanges 去买卖自己的 Cryptocurrency。之前 FTX 倒塌使得差不多 500 万人存在里面的钱一下子就没了，其实也是区块链中心化的一个问题。区块链很多东西表面上说去中心化，但是实际上你这个钱要进行交易，还是得把钱集中。一个 Exchange，一个 Brokerage。这也就是为什么今年我们看到了很多区块链的项目，一个倒台就是五个十个一起倒。FTX 倒了之后，BLOCKFIRE 也倒了，现在又有各种各样的项目像多米诺骨牌一样一下都倒了，这些区块链的项目之间有着很密切的联系。
何 流 ：听起来无论是人工智能还是区块链，新科技一定程度上，还是在现有的社会结构，现有的社会关系，网络误区上再去生长。科技产生的新生态里其实是人类现有生态的放大。人类是个集权社会，科技里面就是集权。你用资本的逻辑去做区块链，区块链里面就会有大公司，就会有大的交易所，交易所背后就有一串利益链条，都是我们现有体制的某种复制。有人的观点就是：那不是机器的错。机器就是个工具，人最终要承担责任，你把它用好就行了。但其实在我看来，不同的技术放大的东西不一样。要是做疫苗，放大的是安全，要是做病毒研发，仅仅放大的是风险。像 AI 区块链，可能放大的有人类所谓追求自由，追求能力，追求自我解放，追求知识这一面，同时也可能有追求权力，追求金钱，追求话语权，追求对世界的控制，追求巨大的利益这一面。
Jenny ：对，肯定是的，我觉得何流说得很对。某种程度上这个技术扩大了人类原本的一些追求，另外一个层面就是技术会推动资本。比如现在，人工智能技术产生了之后，你会推动新的资本市场的形成，和投资创业的新热点的生成。所以我觉得不仅仅是人去决定技术吧？某种程度上技术也决定了人的资源往哪走。
治 霖 ：我其实还有一个问题想问 Jenny。Jenny 其实说了挺多从一个现实主义者的立场去看这些问题。这也有一个担忧。会不会这个行业各种的 AI 开发公司，大家就梦游，最后梦游到了灾难里。因为我们做的准备不足，那些看起来很理想化的问题没有激起太多人的思考，大家就一起 Sleep Walking，一旦发现 AI 能力到了那个地步，我们已经无可挽回了。不知道你会不会有这样的担忧？我有看到批评 OpenAI 或者 DeepMind，这种打着号称要开发出最好的，向善的通用人工智能这样的企业。到最后自己在向善上没做到位，反而把技术能力到了的 AI 搞出来，最后带来很大的风险。我不知道你会怎么看这样的问题？
Jenny ：我觉得其实这两方的观点我都是有一定程度上的赞同的。会不会就梦游着进入了一个人工智能的灾难？我觉得这个是很有可能产生的。并且我们历史上并不是没有看到这种梦游的情况。像一战的时候，这些国家都不愿意打，但是最后还是打了一战。我觉得很多时候人类历史上的这种悲剧是无法避免的，就像我认为很大程度之上，现在是没有办法去阻止 OpenAI 或者 DeepMind 这样的公司，让他们去停止自己对人工智能的研发。
但是另外一个方面，我一直坚定地认为，你如果不是技术的领头羊，你就无法塑造这个技术的世界。OpenAI 和 DeepMind 采取的一种发展模式，就是他们要做技术的领头羊，这样他们就可以塑造这个技术到底往什么方向走。这个也很有道理。如果你是二线或者三线的公司，你在这个领域没有影响力，没有人会听你的。相当于在 OpenAI 和 DeepMind 的眼里，你要手上先有工具，有了这个工具之后，你才能达成你的目的，但是你没有这个工具，你什么都做不了。
何 流 ：这是一种发展思路。如果我总结这种思路就是：你要先成为 NO.1，你要先成为能力最强的公司，再去谈这个行业怎么发展，不然就没人听你的，你在行业里面没有话语权。
另一种思路可能是：在能力这条赛道上有一帮人在卷，但是在安全这条赛道上没有什么人卷。如果你想在安全领域成为领头羊，那你应该就在那方面去跟这些所谓能力好的公司去做竞争。这也是之前我看到 Sam Altman 的一种观点：他在评论中美人工智能研发的竞赛的时候，他对自己的技术比较自信，他觉得 OpenAI 的技术其实是全世界最领先的，而且我们发展也很快，没有必要在这个层面上跟我们竞争，但是别人有可能在安全层面上比我们跑得更远。哪怕是中美之间的军备竞赛，可以去提升自己的实力，但是如果我们有另一条在安全层面做竞争的赛道，按照政治的逻辑也可以卷起来：从世界共识比谁更安全。继续利用这种系统本身具有的，我觉得不太理性的相互竞争的这种逻辑，但是换一个对世界好的指标。
Jenny ：但是很明显，这就跟资本市场还有政治逻辑是违反的。资本市场逐利，政治逻辑逐权。AI 安全，利也没有，权也没有，谁愿意去卷呢？就像比谁碳排放少，现在卷也只是口头上卷，实际上公司基本还是以逐利作为第一标准。所以我觉得 Sam Altman 其实有一点站着说话不腰疼这种感觉，OpenAI 本来技术已经做得很好，你说我们来卷安全，是因为你技术已经领先了，要是技术落后你根本没有想法去卷安全这个事情。
治 霖 ：还有一个比较个人化的问题，作为一个对安全和这些向善有这么多思考和研究经历的人，你进入 VC 之后去做这些和资本高度挂钩的事，你有感受到一些张力吗？或者你自己觉得，在这条路上是可以走得又有影响力又对世界有很大好处的吗？
Jenny ：我自己的感觉，因为做研究，还有风险投资，我都做过一段时间。我感觉研究员，包括政策研究员，他是从外向内去看 AI 市场，而做投资更多的时候是由内向外去看这个市场。举一个非常细致的例子，如果你是个研究员，你可能会说这些公司没有做好，或者是公司没有投入去做人工智能风险的预防。但是你如果作为一个投资人，你就很能理解他们为什么不去做这些事儿，因为公司可能钱快用完了，或者是发展不好，或者现在是资本寒冬，就很能理解公司为什么不会去做这个事情。另外，我觉得作为一个研究员，你可以去思考的一个问题：这个世界应该是什么样的？国家之间应该合作，企业应该重视人工智能的安全问题。而你作为一个投资人，更多时候会去想的一个问题是：你如何能够达成这样的目标。
我觉得作为一个有抱负的风险投资人，在这个领域可以认识更多的人，可以有更多的企业人脉，也就是你可以直接跟这些公司的人进行沟通，这也成为你产生影响的一种渠道。我们刚才抱怨资本市场特别的趋利，希望这些公司以趋利作为第一目标之外，能不能也考虑一下安全。而能够促进这些公司去考虑安全问题的人，其实不是象牙塔里的学者。学者可以一直扯着嗓子吼：一定要重视安全，但是这些公司为什么听你的？而当你是他的投资人，你跟公司说要重视安全，这个时候或许他就会听，因为你是他的决策者。
何 流 ：听起来像是社会缺少一些基本的机制来保障安全，所以在现有机制之下，我们就只能去寻找。现在我们社会结构就这样，公司听投资人的，不听学者的，所以你是学者跟他扯半天也没用，但投资人跟他说必须要搞，他可能明天就可以搞出来。当然一种方案我们就应该去影响投资人。可能全世界的 AI 投资人都应该有某种关于 AI 安全的共识，在他们投资中也应该去践行这种共识。所谓负责任投资（responsible investing），其实这种概念也挺多的，只不过我们需要把类似的概念延伸到人工智能安全的问题上。现在可能很多人觉得负责任的投资就是环保的投资，就是供应链里没有这种大规模的劳工问题、妇女问题、健康问题、社保问题，未来可能还不能有人工智能的风险。只不过今天我们还没有意识到。
但这是走体制内的做法，就今天我们世界就这个结构，在这里面，你想想办法，负责任投资或者 ESG 投资，都可以是一种抓手。但另一种可能就是这社会它就不存在这种机制。因为像负责任投资很多时候我觉得还是口号，最终你优化的指标其实是公共意见。只要公众不整天抓着你的尾巴打架，不整天说，你怎么这个也没做到，那个也没做，只要能糊弄过公众就可以了。这种机制其实也不是真的对人类文明的发展有益，它只不过可以去管理好它的利益相关方。我不知道是不是这个社会从更深远的角度，就不具备治理这种超级前沿的科技的能力？因为没有人的利益在系统里面是保障社会长远发展的。
Jenny ：对，我会觉得，如果大家关注科技向善以及人工智能治理，真正对于这一个领域有重大影响的人，比如 OpenAI 的几个创始人还有一些高层，是非常关心人工智能生存风险问题的。还有 DeepMind 的创始人他们这个团体也非常关注人工智能的治理。另外就是在投资人这一个方面，像之前 Skype 的创始人，他作为 AI 方面的投资人也非常关注人工智能的治理和安全问题。你回去一想，你发现原来这些真正关注人工智能安全的实验室，都是由关注安全问题的投资人或者创始人，去投资或者创业做成的，其实真正影响人工智能发展方向的最主要的两类群体：一个是创始人，另外一个是投资人。如果你是站在这一个群体之外去批判这个群体，其实你的影响力会非常非常的小。这是我自己在学界混了一些年，再进入投资界之后很明显的一个感受。
何 流 ：这是不是有点太矮化这么多年大家的倡导？因为这些人投资人和创始人也是在整个舆论环境中诞生的。在学者去讨论人工智能安全问题之前，他们可能都不知道有这方面的问题，或者这方面问题有多深远。像 Nick Bostrum 或者 Stuart Russell 这样的教授，正因为他们多年的倡导才可能给人这种想法：就是人工智能，我们都能看见它的好处，但它这种潜在的、巨大的、毁灭性的、深远的、永久的风险我们也要关注。其实这些想法本身，我会理解成某种社会科技。它不是我发明了一个杯子、椅子，但是这种意识植入人心，我们再去使用这样的意识观念。你可能不觉得我跟学者聊个天，公司就会改变，但其实在他们多年的思想植入之下，才会有这样的投资人：他想自己负责任就意味着搞安全，而不是负责任就是要把人工智能搞大，比谁算法好。所以我感觉我们也不能这么轻易地忽略，这么多年这些学者们倡导的结果。
Jenny ：对，倒不是这个意思。我觉得有几层。首先很多人他关心人工智能的安全，其实也没有受学术界的这些舆论的影响。真正关注人工智能安全的人，有多少是读过 Nick Bostrum 的书的？我觉得这个倒不一定，可能很多人都没有接触过这样的想法。另外一个层面就是理论上的东西我们已经有了。我们已经知道理论上，人工智能会是一个生存风险，不论从计算机角度，或者哲学的角度，我们都已经说这个东西它是有风险的。我觉得现在最重要的事情是要把这个执行下去，对吧？怎么把你的想法执行下去？我觉得在这样的一个时代里面，需要的更多的是实践者，而不是哲学家。
何 流 ：你说中美之间这事儿应该怎么办？我觉得很多人可能都在盯着这件事情，今天比较严肃的，其实人工智能的力量还是中国和美国，你又是学国关的。你觉得中美之间，第一要不要避免 AI 的军备竞赛？第二怎么避免？
Jenny ：人工智能是否会产生军备竞赛，核心有两个因素决定：第一个因素是中美关系到底何去何从？中美关系是会继续恶化，保持现状还是会变好？或者中美关系如果恶化了之后，这一个恶化会不会朝军备竞赛，朝军事化方向去发展？第二个问题就是人工智能到底有多大的军事应用的潜能。假设中美关系继续恶化，而且人工智能有很强的潜能，中美军备竞赛是不可避免的。因为这是大国竞争的一个逻辑，你们两个要竞争，这玩意又很有用，你没有办法阻止这两方的政府进行军备竞赛。我们要阻止中美关系的军备竞赛只有两条道路。第一个道路就是人工智能没那么用。这玩意没有用，谁会拿下去做竞赛？第二就是保持中美关系的稳定，就算恶化，也不要向军备，军事化这样的方向恶化。我觉得这是唯二的两条路径。
目前来看，中美之间的竞争还没有达到军备竞赛的这个层次，还没有达到军事上面的这种竞争，更多的是政治、经济、科技上面的竞争，没达到军事层面。中美关系很明显跟当年冷战时期的关系是不一样的。第二个层面，人工智能，虽然现在各种无人机，各种人工智能可以帮你去发导弹，但是实际上人工智能真正运用到军事实践上面还面临很大的问题。一个问题就是：人工智能的稳定性不够强。很多军官他没有办法去真正信任人工智能。我跟人工智能说让你去炸人家的这个军事基地，但是你给我炸偏了，或者是你没有服从我的命令，或者是中间我想要撤回没办法撤回。这样一系列的问题使得人工智能不具有这样一个可用性，所以目前人工智能运用到军事化上还是很有限的。有限性某种程度上是源于人工智能的安全性不足，所以军队还没那么愿意用它。所以人工智能的安全性变得更好，或者人工智能变得更人性化，这个时候人工智能或许就会更多运用到军事上面。那使人工智能更人性化到底是不是一件好事？我觉得这个也是一把双刃剑。
何 流 ：今天时间差不多了，也非常感谢 Jenny。一大早我就看着你 Zoom call 的背景，已经从黑天慢慢到升起太阳，美丽的一天又到了。
Jenny ：现在外面雾特别大，全是雾，桥都看不见。
何 流 ：谢谢大家的时间，也谢谢我们的听众朋友们再次光临我们脆弱世界的播客。其实脆弱世界这个名字本身和人工智能都有很大的关系，这个名字来自于 Nick Bostrum 所提出的脆弱世界假说有一天我们的世界会来到一个点上：科技极其发达，以至于可能让这个世界变得非常不稳定。虽然我们不知道哪一个风险会发生，但是你知道一定会有某些风险会大面积地摧毁世界。人工智能是 Bostrum 列的一个非常重要的风险，所以我觉得我们播客和人工智能其实还是挺有缘分的。
非常谢谢 Jenny 的时间，大家如果对 Jenny 感兴趣，我相信网上有好多她的信息，Google 百度应该都能搜到。感谢大家。
转录：湘钰
排版：陈思晓
校审：若含
