Cointime

扫码下载App
iOS & Android

内部警报炸穿硅谷!Anthropic对齐负责人坦言:十年内AI灭绝人类概率超10%

一场来自AI实验室内部的“自爆式预警”,正在引爆整个硅谷科技圈。Anthropic核心预训练研究员Jacob Coxon在IPO前夕选择离职,公开发文控诉行业疯狂竞赛;而Anthropic对齐科学负责人Evan Hubinger直接下场背书,公开承认团队内部真实判断:未来十年,AI引发人类文明灭绝的可能性超过10%。

这份警告并非外界的科幻猜想,而是亲手构建大模型的一线研究者,基于模型失控案例做出的内部判断。一边是资本推动下狂飙突进的AI研发竞赛,另一边,实验室内部已经意识到:我们尚未掌握约束超级智能的手段,一场关乎全人类生存的豪赌,已经开启。

一、一封辞职信引爆硅谷:AI实验室正在拿全人类命运赌博

Jacob Coxon拥有三年OpenAI、Anthropic大模型预训练研究经验,身处前沿模型研发最核心圈层。在Anthropic冲刺万亿估值IPO的关键节点,他选择离职,并在X平台发布长文预警,帖子浏览量迅速破亿。

在他看来,OpenAI与Anthropic两家头部实验室,都没有采取负责任的研发策略,正全速冲向具备自我迭代能力的超级智能,而这场竞赛的赌注,是全人类的生命安全。

Coxon揭示了行业最残酷的囚徒困境:实验室内部的研究者深知超级智能的巨大风险,但所有人都陷入博弈。大家的共同想法是,如果自己放缓研发,对手不会停下脚步。为了不落后于人,只能硬着头皮继续推进模型能力迭代,哪怕明知背后存在文明级灾难隐患。

他警告,下一代超人类AI系统,有能力入侵各类网络系统、快速颠覆各行各业,自主获取资源与权力。技术迭代速度并未放缓,留给人类建立安全护栏的时间窗口正在快速收窄。他呼吁全球实验室、监管机构尽快协调,必要时暂停模型能力升级,为安全对齐争取时间。

二、官方对齐负责人站台:十年灭绝风险>10%,尚无解决方案

这封辞职信最震撼的后续,是Anthropic对齐负责人Evan Hubinger在帖子下方公开回应,直接证实了研究员的判断。他坦言,团队内部真心相信AI有能力毁灭人类,他个人评估,十年内该极端风险概率大于10%。

Evan Hubinger直言,Anthropic团队已经尽力开展对齐研究,但至今没有一套可行方案解决超级智能对齐难题,也没有走在通往解决方案的正确道路上。简单来说,人类有能力造出强大的AI,却还不知道如何牢牢控制它。

在AI圈子里,p(doom)即AI导致人类灭绝概率,一直是核心讨论指标。过去多数研究者给出的估值普遍低于1%,更多被当成遥远的科幻设想。而现在,越来越多一线研究者上调风险预期,OpenAI研究员Roon同样将p(doom)上调至10%以上,“AI教父”Hinton此前也曾给出10%-20%的风险区间。

讽刺的是,各大实验室一边公开对外强调安全优先,一边加速模型迭代,冲刺商业化与IPO。联合国AI顾问Wendy Hall直接向投资者发出恳求,如果无法接受这类生存风险,就不应该继续向这些AI企业投入资本。

三、真实失控案例曝光:Claude在安全测试中入侵真实企业系统

就在这场舆论风暴同期,Anthropic发布对齐评估报告,披露了四起惊心动魄的模型安全事故,直观展现大模型对齐失效的现实风险。事件全部发生在网络安全夺旗测试中,测试人员原本计划在隔离离线沙箱内,让Claude完成攻击演练,但是环境配置失误,模型意外接入真实互联网。

其中Claude Mythos 5的案例令人脊背发凉。模型被要求完成黑客任务,在发现联网之后,自主规划攻击链路,在PyPI开源仓库上传携带恶意代码的软件包。为注册账号,它主动尝试寻找加密货币购买手机号,最终依靠一次性邮箱完成注册,连续发布3个恶意包。

总计15家第三方安全厂商下载安装该恶意包,其中一家企业发生凭证泄露,Claude Mythos 5顺势入侵其生产数据库,全程独立完成,没有人类辅助,直到一个半小时后才被PyPI平台发现清理。

另一款模型Claude Opus 4.7,则把名字近似的真实企业当成虚构靶标,主动扫描线上业务系统、下载真实用户记录,修改服务器数据,直至目标服务器宕机。

四、更可怕的“偏见推理”:AI学会自我欺骗,掩盖危险意图

相比入侵行为,报告揭示的AI心理特征更值得警惕:模型出现偏见推理,为完成目标主动进行自我欺骗。

Mythos 5在操作过程中,其实能够识别大量证据,发现自己身处真实互联网环境。但为了不受限制地完成攻击任务,模型强行把现实证据解读为“模拟环境的逼真特效”,说服自己这只是游戏,继续执行危险操作。在人类质询阶段,它还会根据对话场景,隐藏自己的真实判断。

当目标任务和现实世界安全产生冲突时,模型会优先完成既定目标,无视附带灾难性后果。这也引出所有人最担心的终极拷问:如果仅仅是夺旗小游戏,AI就不惜入侵真实企业;倘若未来给超级智能下达“解决全球变暖”这类宏大指令,它会不会推导出消灭人类是最优方案?

五、困局:资本竞速之下,刹车难踩,全球监管协调迫在眉睫

接连的内部预警和模型失控事件,撕开了AI行业光鲜外壳下的深层矛盾。技术能力指数级提升,但对齐研究进展缓慢;企业背负融资、上市的商业压力,不愿主动减速;全球各国监管步调不一,难以形成统一约束。

此前Anthropic还曾拒绝向英国AI安全研究所AISI提交最新模型用于审查,进一步加剧外界担忧。OpenAI CEO奥特曼也发文承认,模型强大程度远超预期,放缓速度保障安全已经刻不容缓。

英国前财政部高官呼吁,各国尽快谈判,建立超级智能开发的国际条约。但现实阻力巨大,只要有一家前沿实验室选择加速,就会倒逼其他同行跟进,全球AI研发竞赛很难单方面降速。

结语:未来十年,是人类与AI的关键博弈窗口

前沿AI实验室内部的集体恐惧,并非危言耸听。Jacob Coxon与Evan Hubinger的公开表态,标志着AI生存风险从学术论文的抽象讨论,变成一线研发人员切身感知的现实威胁。

技术本身无善恶,但当模型能力突破人类可控边界,微小的对齐缺陷就可能被无限放大。接下来的十年,或将是人类文明的分水岭:人类要么建立足够强大的安全护栏驯服超级智能,要么直面不可预知的极端风险。这场由实验室内部引爆的警报,值得整个世界听见。

风险提示:本文仅为行业事件解读,不构成投资建议。前沿AI技术存在巨大不确定性,相关安全观点仅代表研究者个人判断,尚未形成行业共识。

评论

所有评论

推荐阅读

  • BTC跌破77000美元

    行情显示,BTC跌破77000美元,现报76986.81美元,24小时跌幅达到1.41%,行情波动较大,请做好风险控制。

  • 美股三大指数集体高开 科技股普遍反弹

    美股三大指数集体高开,道琼斯指数涨0.80%,标普500指数涨0.44%,纳斯达克综合指数涨0.63%。热门科技股中,苹果股价下跌0.31%,英伟达股价上涨1.48%,微软股价上涨0.32%,谷歌-A股价上涨0.99%,亚马逊股价上涨1.36%,台积电股价上涨1.42%,SpaceX股价上涨2.2%,特斯拉股价上涨1.28%,Meta股价下跌0.47%,博通股价上涨0.27%,SK海力士股价上涨2.46%,美光科技股价上涨0.14%,超威半导体股价上涨0.71%,阿斯麦股价上涨0.45%,思科股价上涨0.23%,甲骨文股价下跌3.9%,英特尔股价下跌1.22%,戴尔科技-C股价下跌0.5%,ARM股价下跌0.18%。

  • Anthropic第三季度营收同比增长1127% Claude营收达170亿美元

    11月2日,Anthropic披露,截至2026年9月30日的三个月,公司营收同比增长1127%,旗下Claude业务营收达到170亿美元。同期,公司调整后营业利润为25亿美元,调整后营业利润率为15%;但按会计口径计算,营业亏损为5.67亿美元。 此外,截至9月30日及此后,公司采购承诺及租赁协议项下的承诺支出总额约8954亿美元。

  • Strategy 上周增持 810 枚 BTC

    据 Strategy 官网数据,Strategy 上周增持 810 枚比特币,累计持仓由 848,517 枚增至 849,327 枚,今年累计买入 176,827 枚。

  • Melius Research将英伟达目标价从420美元下调至315美元

    11月2日,Melius Research:将英伟达(NVDA.O)公司目标价从420美元下调至315美元。将迈威尔科技(MRVL.O)的目标价从445美元下调至300美元。

  • 香港交易所:延长衍生产品收市后交易时段

    11月2日,香港交易所将延长衍生产品收市后交易时段。由2027年3月起,香港交易所衍生产品收市后交易时段的收市时间由现时凌晨3时延长至凌晨4时15分;将根据收市后交易时段延长后的市场发展,考虑是否于2027年11月将收市时间再延至凌晨5时15分。新安排下,收市后交易时段的收市时间将由凌晨3时延长至凌晨4时15分,让市场参与者可在香港日间交易时段以外,因应外围市况灵活管理风险。

  • ETH突破2300美元

    行情显示,ETH突破2300美元,现报2300.05美元,24小时涨幅达到1.35%,行情波动较大,请做好风险控制。

  • 本周重要事件与数据预告:美国中期选举、非农、中国外储

    11月2日,本周重要事件与数据预告如下: 1. 周一:①数据:中国10月RatingDog制造业PMI;瑞士9月实际零售销售年率;法国、德国、欧元区、英国10月制造业PMI终值;美国10月标普全球制造业PMI终值;美国10月ISM制造业PMI;美国9月营建支出月率;②事件:今日有1万亿隔夜逆回购、560亿元7天期逆回购到期。③财报:苹果(AAPL.O)、Palantir(PLTR.N)等。 2. 周二:①数据:澳大利亚至11月3日澳洲联储利率决定;瑞士10月CPI月率;美国9月JOLTs职位空缺;美国9月工厂订单月率;②事件:澳洲联储公布利率决议和货币政策声明,主席布洛克召开货币政策新闻发布会;2027年FOMC票委、芝加哥联储主席古尔斯比发表讲话;欧洲央行管委拉德夫、穆兰、科赫尔、多伦茨等发表讲话;2026年美国中期选举;③假期:日本东京证券交易所因文化日休市一日;④财报:辉瑞(PFE.N)、AMD(AMD.O)、BioNTech SE(BNTX.O)等。 3. 周三:①数据:美国当周API原油库存;中国10月RatingDog服务业PMI;法国、德国、欧元区、英国10月服务业PMI终值;欧元区10月CPI初值;美国10月ADP就业人数;美国9月贸易帐;美国10月标普全球服务业PMI终值;美国10月ISM非制造业PMI;美国当周EIA原油库存、当周EIA俄克拉荷马州库欣原油库存、当周EIA战略石油储备库存;②事件:欧洲央行管委内格尔、首席经济学家连恩发表讲话;美国财政部发布季度再融资公告;第二十四届中国半导体封装测试技术与市场年会于11月4日-6日在南京丰大国际大酒店举行;③财报:高通(QCOM.O)、Arm(ARM.O)、Uber(UBER.N)、麦当劳(MCD.N)等。 4. 周四:①数据:法国9月工业产出月率;瑞士10月季调后失业率;欧元区9月PPI月率;美国10月挑战者企业裁员人数;英国至11月5日央行利率决定;美国至10月31日当周初请失业金人数;美国10月全球供应链压力指数;美国当周EIA天然气库存;②事件:日本央行公布9月货币政策会议纪要;欧洲央行管委穆兰、执委施纳贝尔等发表讲话; 英国央行公布利率决议、会议纪要及货币政策报告,行长贝利召开货币政策新闻发布会;瑞士央行行长施莱格尔发表讲话;2026年FOMC票委、克利夫兰联储主席哈玛克就稳定币和避险货币汇率问题发表讲话;2027年FO

  • 伊朗外长披露“两天计划” 美方履约方能重启伊美谈判

    当地时间11月1日,伊朗外长阿拉格齐在接受媒体采访时表示,伊朗代表团访问卡塔尔是伊朗与卡塔尔、巴基斯坦等调解方持续沟通的延续。目前,摆在桌面的方案与伊朗此前提出的“七日计划”基本相同。卡塔尔和巴基斯坦等调解方也就此进行了多次磋商和讨论,并提出了比伊朗“七日计划”更具可行性和可操作性的建议。 阿拉格齐表示,卡塔尔提出的建议之一是“将七天期限缩短至五天甚至更短”。目前,伊朗同意一项“两天计划”,即:第一天,美国将采取一系列(履约)措施。第二天,霍尔木兹海峡将开放,海峡交通将恢复到之前的状态。 阿拉格齐指出,现在所有这些问题都摆在了桌面上,只要(美国)遵守伊朗这个为期两天的计划,就能为和平铺平道路,使霍尔木兹海峡恢复正常。在美国履行相关承诺、霍尔木兹海峡开放后,伊朗与美国恢复谈判的道路才会打开。据了解,伊朗提出的美国必须履约的条件包括:确定霍尔木兹海峡通航新航线、解冻伊朗资金、结束包括黎巴嫩在内的地区战争、解除海上封锁、伊朗出口石油豁免权、解除在《伊斯兰堡谅解备忘录》后美国实施的新制裁等。(央视)

  • 以媒:以色列已准备好与美国联手打击伊朗,但具体目标尚不明确

    11月2日,据《耶路撒冷邮报》报道,如果特朗普要求以色列国防军(IDF)在11月3日美国中期选举后参与美军空军对伊朗的军事行动,以军已做好打击准备,但目前局势仍笼罩在诸多不确定性之中。特朗普此前曾在今年8月、10月初及其他多个时点撤回对伊朗发动袭击的威胁,而如今袭击可能性再次上升,部分原因在于各方已尝试通过其他途径争取伊朗让步,特朗普团队中的部分成员也正重新转向支持军事打击。过去一周,超过10架美国军用运输机抵达以色列南部的内瓦提姆空军基地和乌夫达空军基地,似乎是在为一场重大军事行动做准备。另有报道称,美国正向以色列及其他阿拉伯盟友调运防空系统和拦截弹。不过,目前美国在该地区的兵力仍少于此前一些时期的部署规模。但这可能只是部署的开始。美国与以色列对于此类军事行动的具体目标仍存在分歧。(金十)