Kimi K3, and what we can still learn from the pelican — Simon Willison用“鹈鹕骑自行车”测试新模型Kimi K3，揭示其成

• Kimi K3拥有2.8万亿参数，自称首个“开源3T级模型”，在多项基准上超越Claude Opus 4.8和GPT-5.5，但输给Claude Fable 5和GPT-5.6 Sol。
  • 含义：模型规模竞赛持续，但开源模型正逼近闭源顶尖水平，开发者需关注性价比而非单纯参数。
• 鹈鹕测试显示K3仅支持“最大”推理模式，消耗13,241个推理token，单次成本25美分，且存在约85个token的隐藏系统提示。
  • 含义：推理成本仍高，隐藏提示可能影响可控性，开发者需测试实际任务开销。
• Willison强调鹈鹕测试已无法区分顶尖模型，但作为“hello world”仍有用：验证模型输出SVG能力、估算成本和推理，并推动他实际尝试新模型。
  • 含义：简单测试虽过时，但能快速暴露模型特性（如推理模式、视觉能力），开发者应结合自身任务设计更相关的评估。

原文：Kimi K3, and what we can still learn from the pelican benchmark · 作者 Simon Willison