犯其至难而图其至远者,发之以勇,守之以专,达之以强。
2026 世界人工智能大会开幕前夕,月之暗面正式推出迄今能力最强的旗舰大模型 Kimi K3。这是全球首个迈入 3 万亿参数门槛的开源模型:总规模达 2.8 万亿,基于自研 KDA 混合线性注意力与注意力残差技术构建,原生支持多模态视觉理解,标配 100 万 token 上下文窗口,全面面向长程编程、复杂知识工作、深度推理等前沿智能场景。
官方评测显示,Kimi K3 综合能力仅次于当前最强的两款闭源模型 Claude Fable 5 与 GPT-5.6 Sol,稳定超越其余所有开源及商用模型,成为国产大模型首次站在全球开源规模与能力双顶点的标志性产品。完整模型权重将于 2026 年 7 月 27 日前正式开源,技术报告同步公布。
一、全球首个 3 万亿级开源基座:架构革新突破规模天花板
Kimi K3 是月之暗面持续 pushing 模型规模边界的里程碑之作 —— 过去 12 个月中,有 9 个月 Kimi 都保持着开源模型的参数规模纪录,而 K3 直接将开源模型的上限推高至 2.8 万亿参数级别。
支撑这一规模的,是两项核心自研架构创新:
1. Kimi Delta Attention(KDA)混合线性注意力
传统自注意力的计算成本随上下文长度呈平方级增长,是长序列与大模型扩容的核心瓶颈。KDA 作为新一代线性注意力架构,实现了计算量随序列长度线性扩展,同时首次在短上下文、长上下文、强化学习全场景下效果超越传统全注意力机制。
配合块状优化算法,KDA 让 KV 缓存占用量降低 75%,在 100 万 token 超长上下文下,解码吞吐量最高提升 6 倍,从底层解决了大模型长上下文推理的效率难题。
2. Attention Residuals(注意力残差)
传统深度模型的固定残差连接会随层数加深稀释底层特征,导致深层模型 "忘前事"。注意力残差将固定加法残差替换为动态注意力聚合:模型可根据输入内容,有选择地跨层检索前序层的有效信息,让信息在超深网络与超长序列中更顺畅流动,解决了万亿级模型加深后的信息衰减问题。
在此基础上,Kimi K3 采用升级的 Stable LatentMoE 稀疏专家架构:总计 896 个专家,单次推理仅激活 16 个,兼顾规模与运行效率。搭配 Quantile Balancing 专家均衡路由、Per-Head Muon 逐头优化、SiTU 激活单元与 Gated MLA 门控注意力等技术,K3 相比前代 K2 的整体扩展效率提升 2.5 倍,算力向模型能力的转化效率大幅跃升。
训练端,K3 从 SFT 阶段就采用量化感知训练,权重为 MXFP4、激活为 MXFP8,适配更广泛的硬件部署;推理端引入全均衡专家并行方案,规避专家负载不均导致的吞吐损耗,官方建议在 64 卡以上的 supernode 集群部署,可充分发挥大模型性能。针对 KDA 带来的前缀缓存适配问题,团队已向 vLLM 社区贡献对应实现,将随模型权重同步开源。
二、硬核长程 Agent 能力:从内核优化到自主设计芯片
Kimi K3 的核心突破不止于参数规模,更在于长周期、高复杂度的自主任务执行能力,尤其在编程与工程化场景展现出接近顶级闭源模型的实力。
1. GPU 内核优化:逼近第一梯队闭源模型
官方搭建了 GPU 内核优化竞技场,所有模型在独立沙箱中 24 小时自主运行,完成内核分析、重写、跑分验证全流程。测试覆盖 NVIDIA H200 上的 Attention Residuals、KDA 线性注意力、512 头维度 MLA 内核,以及国产 GPU 平台的 KDA 任务。
极致思考强度下,Kimi K3 的优化表现接近 Claude Fable-5(含回退机制),显著领先 Opus 4.8、GPT-5.6 Sol 与 GPT 5.5,成为首个在底层内核优化场景摸到第一梯队门槛的开源模型。
2. 从零搭建 GPU 编译器:端到端构建完整工具链
更具标志性的是,Kimi K3 自主开发了类 Triton 的紧凑 GPU 编译器MiniTriton:基于 MLIR 搭建独立的 tile 级中间表示,实现完整的优化 Pass 到 PTX 代码生成流水线。
在 Roofline 基准测试中,MiniTriton 的性能达到甚至超越 Triton 与 torch.compile,部分工作负载表现优于原生 Triton。团队进一步用其训练 nanoGPT 实现正常收敛,验证了这不是零散的代码生成,而是一套完整可用的编译器栈 —— 从编程抽象、中间表示、优化流程到后端生成全链路打通。
3. 48 小时自主完成芯片设计:模型为模型造芯片
作为长程 Agent 能力的终极验证,Kimi K3 在连续 48 小时的自主运行中,基于开源 EDA 工具与 Nangate 45nm 工艺库,独立完成了一颗专用推理芯片的设计、优化与时序验证。
该芯片面积 4mm²,集成 146 万个标准单元、0.277MB SRAM,搭载带融合反量化的 INT4 MAC 阵列,100MHz 下完成时序收敛,模拟解码吞吐超过 8700 token/s。一颗由模型设计、为模型推理服务的专用芯片,成为 K3 长程自主工程能力的最佳注脚。
4. 科研编程:两小时完成资深研究员两周工作量
在计算天体物理的 I-Love-Q 普适关系复现任务中,Kimi K3 仅用 2 小时就完成了通常需要资深研究员 1-2 周的工作:交叉验证 20 余篇论文、实现完整数值计算流程、评估 300 多种状态方程、修正已发表公式的不一致之处,生成 3000 余行 Python 代码,最终输出可交互的 HTML 可视化仪表盘。
这种 "读文献 - 写代码 - 做验证 - 出结论" 的全链路科研能力,让大模型真正从科研辅助工具变成了科研生产力本身。
三、原生多模态 + 全场景覆盖:从创意生产到企业级知识工作
依托原生多模态架构,Kimi K3 实现了代码、视觉、文本的统一理解与闭环迭代,能力覆盖创意生产、知识工作、视频剪辑等多个场景。
1. 视觉闭环创作:从概念到可交互 3D 内容
K3 可在代码与实时截图间无缝迭代,实现 "视觉在环" 的创作模式:输入概念或参考图,就能生成可运行的 3D 交互内容,边运行边看效果边优化。官方展示案例包括 3D 长征十号火箭发射回收模拟、开放世界 3D 游戏、GBA 模拟器复刻、黑洞卡冈图雅特效复刻等,全部由模型自主完成代码开发与视觉调优。
2. 知识工作升级:端到端深度研究与可视化输出
Kimi K3 将知识工作从 "信息总结" 推向 "端到端研究产出"。在推理芯片行业研究任务中,K3 经过 120 多轮递归自我优化,覆盖 ASIC 行业 42 年历史,完成 2800 余次网页搜索抓取、1100 余次终端数据拉取,处理 87 份季报与 99 份原始 PDF(合计超 11000 页),最终输出带定制图表、动画示意图的交互式视觉叙事。
可控核聚变产业研究、GWTC-5 引力波事件分析等任务中,K3 均可自主完成数据采集、分析、可视化、报告生成全流程,输出达到咨询级发布标准。
配合 Kimi Work 新推出的小组件(Widgets)与看板(Dashboard)功能,用户可在对话中直接生成可交互的动态组件,接入本地数据或第三方插件持续更新,将长期关注的指标汇总为专属看板,让 AI 协作从单次对话变成持续的工作面板。
3. 视频剪辑:多模态原生能力落地创作
原生多模态架构让 K3 可同时理解文字、图像与视频,直接胜任动效设计与视频剪辑工作。官方案例中,K3 制作了 4 分半钟的 3Blue1Brown 风格架构讲解动画,将技术概念转化为流畅的动态图示;另一支品牌视频项目中,K3 从 56 段原始素材中完成选片、动作匹配剪辑、逐帧卡点、音频处理与多轮修改,1 天内完成专业剪辑师 3-5 天的工作量。
四、全渠道同步上线,开源生态即将落地
即日起,Kimi K3 已全渠道开放使用:
普通用户:访问kimi.com、升级最新版 Kimi 手机 App(iOS/Android/ 鸿蒙)即可使用,默认开启 max 极致思考强度,后续将新增 low/high 两档模式;
桌面办公:下载 3.1.0 及以上版本 Kimi Work 桌面客户端(Windows/Apple 芯片 Mac),解锁看板、小组件等深度工作流;
编程场景:终端运行 Kimi Code,通过/model指令切换 K3 模型即可使用长程编程能力;
开发者 API:Kimi 开放平台已上线kimi-k3模型,输入价格为缓存命中 2 元 / 百万 token、未命中 20 元 / 百万 token,输出价格 100 元 / 百万 token。依托 Mooncake 分离式推理架构,官方编程场景缓存率超 90%,实际输入成本仅为标准价的 1/4,同步开启最高 30% 充赠活动;
企业服务:Kimi 企业版支持数据隔离与成员管理,企业级托管 Agent 平台 Kimi Hosted Agent 即将开启测试,提供 Agent harness、隔离沙箱与长任务运行环境。
完整模型权重将于 2026 年 7 月 27 日前正式发布,目前团队正与推理合作伙伴、开源维护者协作对齐技术细节,保障全生态稳定适配。
写在最后:客观看待差距与局限
作为开源模型的新标杆,Kimi K3 首次将开源模型的能力边界推到了接近顶级闭源模型的位置,但官方也坦诚披露了当前局限:
思考历史依赖:K3 后训练全程保留思考历史,若 Agent 框架未完整回传思考内容、或会话中途从其他模型切换,可能引发上下文干扰,建议使用官方兼容的 Agent 框架,避免中途切换模型;
主动性偏强:因训练侧重长程高难任务,遇到模糊需求或小问题时,模型可能替用户做出预期外决策,需通过系统提示词明确行为边界;
综合能力仍有差距:整体用户体验上,与 Claude Fable 5、GPT-5.6 Sol 两款顶级闭源模型仍存在一定差距。
但毫无疑问,Kimi K3 的出现,重新定义了开源大模型的规模与能力上限。当万亿级参数的顶级智能从闭源黑箱走向开放可定制,整个 AI 行业的应用创新、部署模式与生态格局,都将迎来新一轮的重构。而这,只是 K3 系列的起点。
所有评论