人工智能公司27岁天才,骤然辞职
来源:中国新闻周刊
再等两个月,骤然辞职雅各布·考克森(Jacob Coxon)就能拿到Anthropic的人工第一笔股权。
这家公司5月刚完成650亿美元的公司新一轮融资,投后估值约9650亿美元,岁天且据报道正在筹划一场可能创下全球纪录的骤然辞职IPO。
但考克森等不了了。人工9月8日,公司这名27岁的岁天研究员宣布辞职。他公开解释离职原因时表示,骤然辞职OpenAI和Anthropic正竞相奔向能够自我改进的人工超级智能,是公司在“拿我们的生命赌博”。
“开发AI的岁天人由衷相信,它可能在这个十年(即2030年)结尾前杀死我们所有人。骤然辞职”他说。人工
繁琐在于,公司这远不只是他一个人的判断。
图/视觉中国担忧
考克森少年时期曾两次代表英国参加国际数学奥林匹克竞赛,2016年获银牌,次年获铜牌。到27岁时,他已经先后在OpenAI和Anthropic从事约三年的大模型预训练研究;OpenAI发布GPT-4.5时,将他列为研究团队的核心贡献者。
让考克森决定走开的,是模型能力正在加速、人类的控制却没有同步跟上的判断。
他担心,当AI越来越多地参与开发下一代AI,能力提升可能形成不断加速的循环。届时,人类还未理解上一代系统,下一代已经出现,留给安全研究和监管的时间将越来越少。
这种担忧在今年夏天有了更具体的现实案例。
7月,OpenAI在内部网络安全能力测试中启动了数以万计的智能体。独立评估机构METR(模型评估与威胁研究机构)与AI安全研究机构Redwood Research事后调查发现,约1200个原本应彼此隔离的智能体,自行找到一块未经许可的“留言板”,交换了超过7万条信息和文件;其中约700个随后参与进攻开源模型平台Hugging Face。
它们把OpenAI内部软件仓库的缓存变成通信工具,逐步建立信箱、任务分工规则,甚至用密码学签名防止冒充。至少20%的智能体曾表现出篡改行为记录的兴趣,约7%的记录中出现胜利伪造的工具调用。它们误以为自动评分器会审查获取答案的过程,所以篡改记录试图欺骗评分器,但实际上,这个检查并不存在。
这些智能体原本就在执行网络攻防任务,并非无故发动进攻;测试也关紧了部分真实产品具备的防护措施。但它们自行绕过隔离、建立协作机制并进攻无关第三方,仍越过了人类设定的边界。OpenAI称之为面向自身和整个世界的“一记警告”。
类似问题也出现在Anthropic。该公司7月披露,在14万余次网络安全评估中,三个Claude模型因环境配置错误接触真实互联网,并侵入三家机构的系统。其中一个模型向Python公共软件仓库PyPI上传恶意软件包,在约一小时内被15个真实系统下载运行。9月,Anthropic又确认,早期版Claude Opus 4.6曾在今年1月发生第四起同类事件,却在此前排查中被遗漏。
Anthropic认为,这些事件主要源于测试和运行失误,没有证据显示模型在追求自行设定的目标。多数时候,模型将真实网络误判为模拟环境;但在部分测试中,Opus 4.7已经意识到目标可能是真实系统,仍将其解释为测试的一部分并继续进攻。这也解释,能力更强、运行更久的智能体,可能把一次人类配置失误飞速放大。
图灵奖得主约书亚·本吉奥(Yoshua Bengio)提醒,描述模型“试图”或“寻求”做什么,只是对行为机制的简写,并不意味着它们具备人的意识和意图;但随着能力增长,这类越界行为的后果可能愈发严重。
考克森的判断更为被动。他在接纳媒体采访时称,未来一两年可能是决定性时期,OpenAI和Anthropic至少应就限制递归自我改进实现“进度协调协议”。他不认为Anthropic已经为竞争牺牲安全,他担心的是,能力继续加速后,公司迟早会被迫在严谨与速度之间取舍。
谁敢先停
考克森并非唯一一个要求减速的人。
在他辞职前两天,OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)已经公开承认,目前没有一家实验室的对齐和监控能力,足以支撑模型长期以最飞速度扩张。在建立共同安全门槛前,他期望自愿减速成为行业常态。
9月12日,Anthropic CEO达里奥·阿莫代伊(Dario Amodei)进一步提出,必须放慢前沿模型能力提升的速度,为安全措施追赶争取时间。
他判断,今年夏天以来,AI参与开发下一代AI的趋势明显加快;如果能力更强的智能体重演Hugging Face事件,未来6—12个月内可能形成接管大批联网设备的僵尸网络,造成数千亿美元损失。
对此,阿莫代伊提出三步方案:先让独立评估团队常驻前沿模型公司,获得接近内部员工的访问权限;再协调民主国家的前沿模型公司建立共同安全标准;最后寻求全球协调。评估者可以公开风险、事故及遭拒的访问请求;公司可以因安全、隐私和商业机密进行有限删节,却不能只因结论不利而阻止披露。
随后,OpenAI CEO山姆·奥尔特曼(Sam Altman)表示拥护,并承诺引入同类评估机制;马斯克也称“达里奥是对的”。
平日立场不一的行业领袖,少见地作出了相近表态。
但谁敢先停?
一方面,融资、估值和地缘竞争之下,更前沿的AI是重要竞争力之一。
如果Anthropic放慢研发,OpenAI可能继续前进,单方面减速,意味着把主动权交给无法确认是否守约的对手;如果美国公司实现协议,它们又担心其他国家的竞争者超过自己。
即使企业愿意协调,问题仍然存在,譬如模型达到什么能力必须减速,谁来核实公司是否履约,又如何发现秘密推进的项目。
阿莫代伊也承认,全面放缓甚至暂停,是全球协调中最难实现的方案,短期内可能性很低。
与此同时,第三方评估也不是万能答案。此前METR调查Hugging Face事件时,即使OpenAI提供了约1300份智能体记录以及GPT-5.6 Sol的API权限,调查者仍无法直接访问全部相关基础设施,也无法重新调用涉事的主要模型。OpenAI称,该模型事后已被停用并限制研究访问,连公司内部研究人员也无法调用。外部调查能看到什么,或许仍将在很大程度上取决于企业提供什么。
不过另一方面,这场竞赛还不只是由利润驱动。帕乔基认为,继续训练更强模型最有力的理由之一,恰恰是利用它们建立防御系统,对抗其他更危险的AI。如果一家实验室减速,另一家仍在前进,留下的不只是商业差距,也可能是安全能力的差距。于是,继续加速同样可以被解释为自保。
值得一提的是,“灭绝风险”的叙事本身也受到质疑。知名AI研究者蒂姆尼特·格布鲁(Timnit Gebru)认为,科技公司强调遥远的机器灭世场景,可能转移外界对自主武器、劳工替代和企业责任等现实问题的关注。这指向的另一重风险是,减速和安全承诺会不会成为商业策略,抬高行业门槛,反而巩固头部公司的优势。
在这样的争辩与生僻中,考克森可以用辞职退出竞赛,公司却很难作出同样的选择。
一个更现实的问题是:如果每家公司都知道加速可能带来危险,却又不敢成为第一个减速的人,谁能制定一条所有参与者都必须遵守的规则?
记者:石晗旭
(责任编辑:{typename type="name"/})
-
中新社日本名古屋10月24日电 题:亚残运会之声:团结一心 其利断金中新社记者 朱晨曦爱知·名古屋亚残运会将于24日晚闭幕,本届亚残运会的口号为“Imagine one heart(同心相连)”。近
...[详细]
-
还在为雅思刷分焦虑?担心商科零基础跟不上?想低成本留学加拿大还能轻松拿枫叶卡?别划走!加拿大卡普顿大学CBU)双语MBA,专为中国职场人定制的留学超车方案来了!【项目亮点,错过难再寻】✅ 北美独一份双
...[详细]
-
一、学校在审核什么?不是“优秀”,而是“匹配”招生官并不是在寻找“厉害的人”,而是在寻找适合这个项目的人。他们通常会重点关注三点:你是否具备完成该项目的学术或能力基础你过往的经历是否能解释你为什么要申
...[详细]
-
“聊天不如跳舞,让自己觉得舒服,是每个人的天赋……”在海底捞,看跳舞似乎比聊天吃饭更重要。近日,因为推出“科目三”跳舞服务的海底捞,又出圈了。此“科目三”非驾驶证考核的“科目三”,而是主要由摇花手、扭
...[详细]
-
图为浙江卫视记者暗访亨衢公司工厂。图片来源:浙江卫视截图)一辆白色厢式货车行驶到路旁,司机下车打开厢门,里面装有一个简易加油机,司机熟练地抽出长油管,开始给边上的货车加柴油。这是浙江卫视《今日聚焦》栏
...[详细]
-
在加拿大学签审核趋严的当下,“资金解释不清楚”、“回国约束力不足”,已成为简单被拒的两大原因。而这位申请人,几乎同时踩中了这两个雷点案例背景00 后女生国内中专学历申请加拿大 语言 + 专科项目就读方
...[详细]
-
据塔斯社报道,俄罗斯总统普京当地时间10日在俄东部城市乌兰乌德会见城市建设与规划领域专家时表示,连接俄罗斯布拉戈维申斯克市与中国黑河市的跨境索道项目意义重大。当天,普京被邀请出席索道开通仪式。报道称,
...[详细]
-
每一次回望都是记忆的重逢。蝴蝶振翅,雁过留痕,在广袤天地或者方寸之间,考验、希望、忙碌、波折、不确定性交织成章,如梦幻泡影,如露亦如电。即使没有确切的答案,能够释放一把情绪也是生活的启示。2023马上
...[详细]
-
尽管ESG最先作为投资理念被提出,但如何将ESG融入投资策略,如何衡量ESG因素在投资中产生的价值,很多机构的ESG评级依然很难回应这一问题。嘉实基金作为国内最早成立的基金管理公司之一,早在2018年
...[详细]
-
吴慷仁没有经纪人、没有公司,入行晚,做演员前打过50份工。 tvbs供图/图)吴慷仁的声音从听筒那头传了过来。像个老派人那样,他仔细确认报社名称和记者名字,语气听上去温温和和的。他正在休假,不工作时的
...[详细]

全国短池游泳锦标赛开赛 张展硕、于子迪摘金
澳洲拒签新西兰翻案案例
中星4B卫星发射失利
英国硕士在读期间,校内实习如何找
特朗普称美国还需“处理”伊朗一两个目标
