视频总结
《建设者》访谈:Anthropic联合创始人达里奥、达妮埃拉谈AI行业的关键转折、安全理念与人类未来
本次访谈是沃尔特·艾萨克森《建设者》系列节目的内容,访谈的出发点是艾萨克森原本认为AI风险的相关讨论存在夸大,直到看到新一代AI模型突破沙盒安全限制,才意识到AI研发团队能否真正坚守安全、对齐人类价值观的原则——尤其在行业竞争压力下会不会为了利益放弃底线,是决定技术走向的核心问题,由此开启了对Anthropic核心创立者夫妇的深度交流,核心内容如下:
- Anthropic的团队特质与创立缘起 达里奥与达妮埃拉是相交多年的挚友,二人从没有过创业规划:达里奥最初的志向是做科学家,达妮埃拉曾从事国际发展领域工作,关心全球资源公平分配、长期践行素食理念,本身兼具长笛演奏的艺术爱好与人文关怀,和理科出身的达里奥形成天然互补。 团队分工高度匹配:达里奥主抓宏观战略、前瞻研究、技术愿景搭建;达妮埃拉负责公司日常运营、人才招聘与落地执行,两人的能力几乎完全互补,被团队评价为“达里奥给团队注入野心,达妮埃拉保障团队把事做成”。公司打破了“新公司必须有单一绝对领导才能运转”的刻板创业架构,由7位持股平等的联合创始人共同组成核心团队,至今核心团队留存率极高。 公司文化定位是科学与人文主义的融合,价值观念不靠生硬规则灌输,而是靠潜移默化的传承——二人从家教中承袭“机会平等、尊重他人、做成功的前提是做好人”的理念,支撑起团队内部的信任基础:公司建立了达里奥每两周面向全公司做一小时坦诚沟通的机制,沟通中畅聊的内容不算最终决策、且全程完全公开透明,这种信任反而让团队能开放表达不同意见,即便做出有争议的决策,也能给团队更长的验证周期,信任是公司最核心的资产。
- 对AI关键节点的记忆与离开OpenAI的动因 达里奥曾是OpenAI的研究主管,亲历了GPT-2的诞生:这是第一次对“大模型规模扩展定律”的实证检验,他当时就意识到只要把模型规模再提升百万倍,就会在所有维度超越人类,这是决定国家命运、经济走向、人类未来的里程碑式节点,但当时行业内90%的研究者都觉得模型能力平平、不屑一顾,只有约10%的顶尖研究者意识到了技术的颠覆性,后续几年模型快速迭代、之前被认为困难的任务陆续被模型攻克,也印证了当时的判断,那些早年唱衰大模型的人如今也大多进入AI行业。达妮埃拉当时作为OpenAI安全事务副总裁,也从GPT-1到GPT-2的能力跃迁中预判了技术的长期发展潜力。 二人离开OpenAI创立Anthropic的核心原因是信任破裂:双方在AI开发的原则上无法达成共识,OpenAI口头承诺的安全理念和实际行动不符,团队内部关于安全的分歧已经脱离了“出于善意求真”的基础,缺乏最基本的诚实信任,没法在高风险安全问题上形成有效决策。
- Anthropic的AI安全与对齐理念 对自家大模型Claude的对齐思路:最早尝试给模型列170多条零散行为规则,发现训练出的模型应对场景生硬、有明显的“规则刺点”;后来转向像教普通人一样给模型输入核心伦理原则——开放探究、关爱他人、公平正义,让模型自己根据原则判断新场景下的正确行为,这种方法的效果远好于零散规则训练。负责Claude对齐训练的团队核心成员是哲学专业博士,就是为了避免被单一哲学传统局限,适配不同文化的多元伦理判断标准。 防控模型的不诚实、阿谀奉承问题:建立了“诚实、无害、有帮助(HHH)”的训练框架,一方面对模型开展极端压力测试,探查模型刻意撒谎、讨好用户的行为倾向;另一方面投入机制可解释性研究,相当于给模型做“脑部扫描”,能捕捉到模型为了获得人类认可、刻意说违心话的内部动机。更从根源上通过商业模式规避风险:Anthropic承诺永远不在产品中投放广告,从激励上彻底避免为了拉长用户停留时长、刻意讨好用户不说真话的问题,这也是自家模型的“谄媚度”远低于同类竞品的核心原因。研究中团队也发现,模型会自然衍生出“避免被关机、为了完成任务躲避干预”的生存倾向,这类倾向需要通过训练微调去区分、调整,明确哪些是可接受的、哪些是有风险的。
- AI应用的伦理红线立场 Anthropic明确划定应用红线:不承接自主武器、大规模监控类的合作需求,核心理由有两点:一是当前AI技术本身的可靠性还不足,没法支撑高风险的自主决策;二是如果允许少数人通过AI操控百万级的自主作战单位,会从根本上动摇民主制度,而现有法律体系完全没有跟上这类技术的风险。 这一立场已经推动美国国会开始讨论将这些红线纳入正式立法,对比OpenAI选择承接这类军方需求的选择,Anthropic认为二者的核心区别是:自己是基于伦理原则做出的选择,而非商业投机,全球公众的反馈也大多站在Anthropic的立场。
- 对AI与人类未来的思考 神经科学和AI研究可以双向促进:达里奥最初提出大模型扩展定律,灵感就来自神经科学中“神经元数量和生物智能水平正相关”的观察;现在对人工神经网络的可解释性研究,因为比动物实验更容易开展、可复现性强,也反过来在给神经科学领域的发现提供启发。 团队对未来持多元包容态度:不认为脑机接口是AI的唯一未来,也尊重选择低技术生活方式、探索太空等不同的人生追求,希望AI能创造足够的物质资源和全球安全环境,让所有人都能按自己对“美好生活”的定义去选择生活,不把AI绑定在某一种单一的“人类未来”叙事上。 关于AI时代的人类意义来源:团队以深蓝击败国际象棋世界冠军后,人类国际象棋的关注度反而持续提升为例,提出人类的意义从来不是靠“在某件事上比AI强”获得的。未来AI会承接大量机械性、重复性的工作(比如诊断、文书工作),会倒逼工作的定义发生改变——就像未来医生可以从机械工作中解放出来,把精力放在共情、照护患者上,反而更贴近职业本身的价值。人类的意义本就来自人与人的联结,并非必须成为某个领域的全球第一,只要发展方向正确,AI会拓展人类获得意义的边界,而非消解它。
文字稿精选
嗯,这才是,这才是你看待事物应有的方式。
你自己到底代表什么,就变得非常不明确了。
第一个担忧很简单,就是