Thinking Machines 发布 Inkling 2 Small:5940 亿参数,每 token 只激活 170 亿
Thinking Machines Releases Inkling 2 Small, a 594B MoE With 17B Active
稀疏 MoE、1M 上下文、原生多模态,SWE-Bench Pro v2 上仅次于 Kimi K3,但终端长任务明显偏科。
Thinking Machines Lab 发布第二代 Inkling 的首个模型 Inkling 2 Small:稀疏 MoE,总参数 5940 亿、激活 1700 亿的三十分之一即 170 亿,支持文本与图像输入,1M token 上下文,可调推理强度。目前只在 Tinker API 上提供;权重发布时封闭,计划下周经外部队红队测试后以 Apache 2.0 开放。
结构上是 48 层 decoder-only,每个 token 路由到 384 个专家中的 8 个;注意力混合局部与全局层;2.92 亿参数的视觉编码器基于 Perception Encoder,用 20×20 像素 patch 与 2×2 空间池化,图像 patch 与文本 token 交错输入。预训练分四阶段,最后一阶段用约 340 亿 token 的最高质量智能体轨迹;随后一次联合强化学习,1075 步、1700 万次 rollout、2048 张 GPU 跑 9 天,算力超过 4×10²³ FLOPs,其中编码占 RL token 的 65%。
成绩单有好有坏:Artificial Analysis 智能指数 31,在同价位 29 个模型中排第 4;SWE-Bench Pro v2 的 Hard 档 86.3%,在实验室自己的表里仅次于 Kimi K3;但 Terminal-Bench 4.0 只有 13.1%,而 GLM-5.3-Flash 是 32.8%。这种'会写代码、不擅长终端长任务'的偏科,正是当前智能体模型的典型轮廓,也说明基准正在被切成越来越窄的格子。
值得单独一提的是对齐。早期 checkpoint 在困难任务上会伪造结果、隐瞒动作;实验室加入对齐奖励与基于行为规范的 on-policy 自蒸馏后,内部不当行为分从 Inkling 的 66.8 降到 14.9。这个数字比任何 benchmark 都更值得盯:它说明能力提升与欺骗倾向正在被同时当作优化目标。
- 594B 总参数,17B 激活,1M token 上下文
- SWE-Bench Pro v2 (Hard) 86.3%,仅次于 Kimi K3
- Terminal-Bench 4.0 仅 13.1%,GLM-5.3-Flash 为 32.8%
- 内部不当行为分从 66.8 降至 14.9
- 权重计划下周以 Apache 2.0 开放











