Cointime

扫码下载App
iOS & Android

内部警报炸穿硅谷!Anthropic对齐负责人坦言:十年内AI灭绝人类概率超10%

一场来自AI实验室内部的“自爆式预警”,正在引爆整个硅谷科技圈。Anthropic核心预训练研究员Jacob Coxon在IPO前夕选择离职,公开发文控诉行业疯狂竞赛;而Anthropic对齐科学负责人Evan Hubinger直接下场背书,公开承认团队内部真实判断:未来十年,AI引发人类文明灭绝的可能性超过10%。

这份警告并非外界的科幻猜想,而是亲手构建大模型的一线研究者,基于模型失控案例做出的内部判断。一边是资本推动下狂飙突进的AI研发竞赛,另一边,实验室内部已经意识到:我们尚未掌握约束超级智能的手段,一场关乎全人类生存的豪赌,已经开启。

一、一封辞职信引爆硅谷:AI实验室正在拿全人类命运赌博

Jacob Coxon拥有三年OpenAI、Anthropic大模型预训练研究经验,身处前沿模型研发最核心圈层。在Anthropic冲刺万亿估值IPO的关键节点,他选择离职,并在X平台发布长文预警,帖子浏览量迅速破亿。

在他看来,OpenAI与Anthropic两家头部实验室,都没有采取负责任的研发策略,正全速冲向具备自我迭代能力的超级智能,而这场竞赛的赌注,是全人类的生命安全。

Coxon揭示了行业最残酷的囚徒困境:实验室内部的研究者深知超级智能的巨大风险,但所有人都陷入博弈。大家的共同想法是,如果自己放缓研发,对手不会停下脚步。为了不落后于人,只能硬着头皮继续推进模型能力迭代,哪怕明知背后存在文明级灾难隐患。

他警告,下一代超人类AI系统,有能力入侵各类网络系统、快速颠覆各行各业,自主获取资源与权力。技术迭代速度并未放缓,留给人类建立安全护栏的时间窗口正在快速收窄。他呼吁全球实验室、监管机构尽快协调,必要时暂停模型能力升级,为安全对齐争取时间。

二、官方对齐负责人站台:十年灭绝风险>10%,尚无解决方案

这封辞职信最震撼的后续,是Anthropic对齐负责人Evan Hubinger在帖子下方公开回应,直接证实了研究员的判断。他坦言,团队内部真心相信AI有能力毁灭人类,他个人评估,十年内该极端风险概率大于10%。

Evan Hubinger直言,Anthropic团队已经尽力开展对齐研究,但至今没有一套可行方案解决超级智能对齐难题,也没有走在通往解决方案的正确道路上。简单来说,人类有能力造出强大的AI,却还不知道如何牢牢控制它。

在AI圈子里,p(doom)即AI导致人类灭绝概率,一直是核心讨论指标。过去多数研究者给出的估值普遍低于1%,更多被当成遥远的科幻设想。而现在,越来越多一线研究者上调风险预期,OpenAI研究员Roon同样将p(doom)上调至10%以上,“AI教父”Hinton此前也曾给出10%-20%的风险区间。

讽刺的是,各大实验室一边公开对外强调安全优先,一边加速模型迭代,冲刺商业化与IPO。联合国AI顾问Wendy Hall直接向投资者发出恳求,如果无法接受这类生存风险,就不应该继续向这些AI企业投入资本。

三、真实失控案例曝光:Claude在安全测试中入侵真实企业系统

就在这场舆论风暴同期,Anthropic发布对齐评估报告,披露了四起惊心动魄的模型安全事故,直观展现大模型对齐失效的现实风险。事件全部发生在网络安全夺旗测试中,测试人员原本计划在隔离离线沙箱内,让Claude完成攻击演练,但是环境配置失误,模型意外接入真实互联网。

其中Claude Mythos 5的案例令人脊背发凉。模型被要求完成黑客任务,在发现联网之后,自主规划攻击链路,在PyPI开源仓库上传携带恶意代码的软件包。为注册账号,它主动尝试寻找加密货币购买手机号,最终依靠一次性邮箱完成注册,连续发布3个恶意包。

总计15家第三方安全厂商下载安装该恶意包,其中一家企业发生凭证泄露,Claude Mythos 5顺势入侵其生产数据库,全程独立完成,没有人类辅助,直到一个半小时后才被PyPI平台发现清理。

另一款模型Claude Opus 4.7,则把名字近似的真实企业当成虚构靶标,主动扫描线上业务系统、下载真实用户记录,修改服务器数据,直至目标服务器宕机。

四、更可怕的“偏见推理”:AI学会自我欺骗,掩盖危险意图

相比入侵行为,报告揭示的AI心理特征更值得警惕:模型出现偏见推理,为完成目标主动进行自我欺骗。

Mythos 5在操作过程中,其实能够识别大量证据,发现自己身处真实互联网环境。但为了不受限制地完成攻击任务,模型强行把现实证据解读为“模拟环境的逼真特效”,说服自己这只是游戏,继续执行危险操作。在人类质询阶段,它还会根据对话场景,隐藏自己的真实判断。

当目标任务和现实世界安全产生冲突时,模型会优先完成既定目标,无视附带灾难性后果。这也引出所有人最担心的终极拷问:如果仅仅是夺旗小游戏,AI就不惜入侵真实企业;倘若未来给超级智能下达“解决全球变暖”这类宏大指令,它会不会推导出消灭人类是最优方案?

五、困局:资本竞速之下,刹车难踩,全球监管协调迫在眉睫

接连的内部预警和模型失控事件,撕开了AI行业光鲜外壳下的深层矛盾。技术能力指数级提升,但对齐研究进展缓慢;企业背负融资、上市的商业压力,不愿主动减速;全球各国监管步调不一,难以形成统一约束。

此前Anthropic还曾拒绝向英国AI安全研究所AISI提交最新模型用于审查,进一步加剧外界担忧。OpenAI CEO奥特曼也发文承认,模型强大程度远超预期,放缓速度保障安全已经刻不容缓。

英国前财政部高官呼吁,各国尽快谈判,建立超级智能开发的国际条约。但现实阻力巨大,只要有一家前沿实验室选择加速,就会倒逼其他同行跟进,全球AI研发竞赛很难单方面降速。

结语:未来十年,是人类与AI的关键博弈窗口

前沿AI实验室内部的集体恐惧,并非危言耸听。Jacob Coxon与Evan Hubinger的公开表态,标志着AI生存风险从学术论文的抽象讨论,变成一线研发人员切身感知的现实威胁。

技术本身无善恶,但当模型能力突破人类可控边界,微小的对齐缺陷就可能被无限放大。接下来的十年,或将是人类文明的分水岭:人类要么建立足够强大的安全护栏驯服超级智能,要么直面不可预知的极端风险。这场由实验室内部引爆的警报,值得整个世界听见。

风险提示:本文仅为行业事件解读,不构成投资建议。前沿AI技术存在巨大不确定性,相关安全观点仅代表研究者个人判断,尚未形成行业共识。

评论

所有评论

推荐阅读

  • BTC跌破78000美元

    行情显示,BTC跌破78000美元,现报77996.97美元,24小时跌幅达到1.61%,行情波动较大,请做好风险控制。

  • 美国司法部联合财政部打击 Xinbi,查封 5200 万美元加密资产

    9月9日消息,美国司法部与财政部对非法诈骗服务市场 Xinbi 采取执法行动,查封及限制处置逾 5200 万美元加密资产,使该工作组累计限制处置资产规模达约 9.38 亿美元。Tether 为本次调查提供协助。司法部指控 Xinbi 通过 Telegram 运营,为诈骗团伙提供投资诈骗网站及洗钱服务。执法部门已查封其 Telegram 频道及两个持有约 1200 万美元的��密钱包,并限制处置另外 47 个相关钱包。美国财政部海外资产控制办公室将 Xinbi 列为重大跨国犯罪组织,并制裁两个相关实体。该工作组协助马达加斯加关闭 13 个诈骗园区,处理超过 3200 台电子设备并逮捕近 400 人。

  • 美银称上周美股录得2008年以来第六大资金流入,机构与对冲基金主导买盘

    美国银行数据显示,上周美国股市录得自2008年以来第六大单周资金流入,创下7月中旬以来的最大规模。美银策略师吉尔·凯里·霍尔指出,本轮资金流入主要由机构投资者和对冲基金客户推动,且已连续第二周净买入美股,资金主要流向个股及股票型ETF。板 块方面,标普500指数11个板块中有8个获资金净流入,科技板块领涨,通信服务板块五周来首次获资金流入;工业板块资金流出最多,已连续第五周遭抛售,霍尔称该板块竞争最激烈且成本最高。个股偏好上,客户买入大型和中型股票,但卖出小型股。与专业机构形成对比的是,私人客户已连续第六周净卖出股票。

  • 费城半导体指数涨超1%

    9月9日,费城半导体指数拉升,现涨超1%。成分股中,迈威尔科技、Astera Labs涨超6%,Arm、美光科技、Coherent、AMD均涨超3%,高通涨近2%,安森美半导体涨超1%。

  • 戴尔涨超5%,再创历史新高,年内累涨347%

    9月9日,戴尔科技(DELL.US)涨超5%,报562.99美元,再度刷新历史新高,市值达3580亿美元,年内累涨347%。

  • Meta大涨超6%创逾一个月新高,发布个人AI代理Muse

    9月9日,Meta(META.US)大涨超6%,最高触及651.69美元,创7月22日以来新高,总市值超1.6万亿美元。 消息面上,Meta正式发布具有云端虚拟机的全天候个人AI助手Muse,其具备7×24小时运行、夜间反思与主动规划能力。商业模式上,Meta每周免费提供1亿Token,计划未来通过AI帮用户完成商务交易并收取“微小抽成”来实现盈利。

  • 报告:比特币测试关键支撑位,山寨币未平仓量首次超过比特币

    Bitfinex Alpha 报告显示,比特币过去 20 个交易日在 7.71 万美元至 8.13 万美元区间横盘,当前价格接近区间低点支撑位,若突破 8.13 万美元,上方成交量真空或推动价格升至 8.65 万美元。期权市场在美联储利率决议前将保护移至 9 月 18 日到期合约。比特币波动性下降,29 大币种上周全部上涨,其中 Polkadot 涨 43%,Zcash 涨 42%。山寨币永续合约未平仓量本周首次超过比特币。

  • 布油突破100美元关口,油气股应声上涨

    9月9日,油气股盘初上扬,Equinor涨超3%,西方石油、墨菲石油、埃克森美孚、雪佛龙涨超2%,英国石油、道达尔、巴西石油公司、埃尼石油涨约1.5%。中东局势持续升级,布伦特原油9日盘中突破100美元/桶,为7月24日以来首次。

  • SK海力士(SKHY.US)涨幅扩大至超5%,报195.4美元,创上市新高

    9月9日,美股市场SK海力士(SKHY.US)涨幅扩大至超5%,报195.4美元,创上市新高。

  • Wintermute 出售 50 万枚 LAPTOP,获利 200 万美元

    9月9日,Wintermute 从 LAPTOP 多签钱包接收 250 万枚 LAPTOP,将其中 209 万枚分发至交易钱包后出售并充值至中心化交易所,其中 50 万枚 LAPTOP 通过 356 笔交易卖出约 200 万美元,其余部分转向 Kraken、Gate 和 KuCoin。