NaiveAI Promises 2,100 Tokens per Second. How Well Does It Code?

TL;DR · AI 摘要
NaiveAI推出的新模型Naive-N0.5-Flash每秒生成2100个token,在编码任务中表现优于部分竞品,但推理复杂问题耗时更长。
核心要点
- Naive-N0.5-Flash通过3.25T额外训练数据优化,继承MiMo-V2.5的混合注意力机制
- 基准测试显示其编码能力介于DeepSeek V4.1和GLM-5.3之间,但NL2Repo-Bench表现更优
- 模型采用递归自我改进设计,但复杂问题推理速度较慢且成本略高
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Naive-N0.5-Flash模型分析
- 技术背景
- MiMo-V2.5继承与优化
- 3.25T训练数据
- 性能表现
- 2100 token/s速度
- NL2Repo-Bench领先
- 对比分析
- DeepSeek V4.1对比
- GLM-5.3对比
金句 / Highlights
值得收藏与分享的关键句。
Naive-N0.5-Flash通过3.25T额外训练数据优化,继承MiMo-V2.5的混合注意力机制
在NL2Repo-Bench测试中表现优于DeepSeek V4.1和GLM-5.3
模型宣称采用递归自我改进设计,但复杂问题推理速度较慢且成本略高
NaiveAI 承诺每秒生成 2100 个标记。它的编码能力如何?——潜空间
编辑注:通过这篇文章,我们推出了一项新系列,专注于对新模型和产品进行无偏见的评测。欢迎将建议发送至 [email protected]。
Naive-N0.5-Flash 是一款专为 AI 编码任务设计的开源权重模型,经过优化以实现尽可能高的每秒标记生成速度。该模型由一家名为 NaiveAI 的中国公司开发,旨在加速工程和研究工作流程,使团队能够更快地进行实验、迭代并解决复杂问题。
该模型是小米 MiMo-V2.5 的进化版本,NaiveAI 在此基础上进一步训练了其长上下文推理能力,并结合了其自研的 NaiveRT 推理引擎。Naive-N0.5-Flash 的宣传定位颇具野心:一款主要由 AI 构建并训练用于 AI 研究的模型,长期目标是实现递归式自我改进。
要了解其改进之处,需要先了解其起点。MiMo-V2.5 是一个 3100 亿参数的稀疏专家混合模型,包含 150 亿个活跃参数,训练数据量达 48 万亿标记。其语言主干继承了 MiMo-V2-Flash 的混合设计,结合了滑动窗口注意力(SWA)和全局自注意力机制。
NaiveAI 的优化方案始于这些权重。通过持续的多阶段训练,团队将检查点适配到 DeepSeek 稀疏注意力层。根据 NaiveAI 技术博客的信息,这在 MiMo 原始 48 万亿标记的基础上增加了约 3.25 万亿额外标记。其中约 3 万亿额外标记是在固定 100 万上下文长度和恒定学习率下训练的。
与 DeepSeek 和 Z.ai 的基准测试
我们对 Naive-N0.5-Flash 的超快速模式进行了基准测试,对比对象包括 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash,随后为所有三个模型提供了相同的应用构建提示。
我们发现的权衡是:Naive-N0.5-Flash 在处理更复杂问题时推理耗时更长,但总体上仍能更快得出答案。然而,这带来了每问题略高的成本——尽管这可能在速度优先的应用场景中是可接受的代价。
截至 2026 年 10 月底,OpenRouter 上最受欢迎的模型。
DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 是 OpenRouter 上最受欢迎的两款模型。两者均属于 Flash 模型系列,在 AI 辅助编码方面表现出色。
截至目前,NaiveAI 模型的性能统计数据尚未在 Artificial Analysis 上发布。因此,我们报告了所比较模型的智能指数评分:
模型智能指数
- DeepSeek V4.1 Flash 1017(最大值):45
- GLM-5.3-Flash:43
- Naive-N0.5-Flash:尚未发布
已发布的基准测试结果为新模型的能力提供了部分见解。结果显示其编码能力介于两个对比模型之间,并在 NL2Repo-Bench 上超越了两者。
下表显示了各模型官方模型卡片和技术博客中报告的基准评分。来源:GLM-5.3-Flash – 技术博客,DeepSeek V4.1 Flash 1017 – 模型卡片,Naive AI – 研究。
| 模型 | NL2Repo-Bench | DeepSWE v1.1 | Agent's Last Exam (ALE) | |------|----------------|----------------|--------------------------| | GLM-5.3-Flash | 56.3 | 63.4 | 26.3 | | DeepSeek V4.1 Flash 1017 | 68.2 | 77.0 | 35.4 | | Naive-N0.5-Flash | 71.9 | 67.8 | 32.4 |
我们自己的评估将进一步探讨这些模型之间的差异。
速度与冗长性实验
速度是核心亮点。1 NaiveAI 承诺比同类模型实现更快的研究迭代,这对需要快速验证想法的开发者和 AI 研究人员而言至关重要。2
我们在三个难度层级上对每个模型进行了评估:10 个来自 MATH-500 的简单问题、10 个来自 GPQA-Diamond 的中等难度问题和 10 个来自 HLE-Diamond 的困难问题。每个模型共测试 30 个问题。所有实验均使用相同的最大完成标记限制 256K。
对于每个请求,我们记录了响应速度(每秒标记数,TPS)、完成标记总数和端到端响应时间。实验代码位于 https://github.com/gbeltramo/llm-verbosity 。
下表报告了每种配置下所有 30 个成功请求的平均值和中位数。吞吐量数据来源不同:DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 来自 OpenRouter,Naive-N0.5-Flash 来自服务器端测量。比较时需注意这一差异。
图表由 Gabriele Beltramo 制作
关键发现
Naive-N0.5-Flash 在两种思考模式下均表现出异常高的吞吐量,接近或超过每秒 1000 个标记。由于其数据来自服务器端,而其他模型数据来自 OpenRouter,我们不声称其速度是 DeepSeek V4.1 Flash 1017 或 GLM 5.3 Flash 的确切倍数。
思考模式对输出长度有显著影响。在困难的 HLE 问题上,启用思考的 Naive-N0.5-Flash 平均生成约 108,500 个完成标记,约为 GLM 5.3 Flash(高)平均值的 9 倍和 DeepSeek V4.1 Flash 1017(高)平均值的 11 倍。
中位数与平均值呈现不同趋势。在所有 30 个问题中,启用思考的 Naive-N0.5-Flash 的中位数完成标记为约 3,200 个,远低于其超过 51,000 的平均值。少量请求产生了异常长的推理轨迹,拉高了平均值。其他模型也呈现出类似但更弱的模式。
表格中还包含端到端响应时间,这是判断速度更公平的依据。对于 Naive-N0.5-Flash(启用思考),中位数问题耗时 3.1 秒,而 GLM 5.3 Flash(高)为 5.3 秒,DeepSeek V4.1 Flash 1017(高)为 10.1 秒。平均值更接近:Naive-N0.5-Flash 为 45.3 秒,DeepSeek V4.1 Flash 1017 为 45.0 秒,GLM 5.3 Flash 为 86.9 秒。在困难问题上,Naive-N0.5-Flash(启用思考)的平均响应时间(89.8 秒)略高于 DeepSeek V4.1 Flash 1017(高)(79.7 秒)。
需注意两点限制。样本量较小,每个难度层级仅 10 个问题,且我们未评估答案准确性。短而快的回复只有在正确时才有价值。
应用实验
我们还要求模型从相同初始提示构建相同的 Web 应用。我们测试了六种模型与思考模式的组合(思考模式用括号标注):
- Naive-N0.5-Flash(无思考)
- Naive-N0.5-Flash(有思考)
- DeepSeek V4.1 Flash 1017(低)
- DeepSeek V4.1 Flash 1017(高)
- GLM 5.3 Flash(低)
- GLM 5.3 Flash(高)
应用画廊可在线访问。简而言之,三个提示要求六种模型变体执行以下任务:
- 创建地球和太阳系的交互式 3D 视图。
- 从种子随机生成器生成 3D 树,包含渐细分支、数千片叶子以及树皮和树叶纹理。
- 将《One Weekend 的光线追踪》书籍移植到浏览器端。
赞助
Your sponsor ad here
接触正在构建未来的人工智能工程师。
Latent Space 的读者是那些正在部署代理、模型和基础设施的人。咨询赞助这个位置。
下方我们嵌入了每个模型的思考变体结果。
Naive-N0.5-Flash (思考)
地球和太阳系;Naive-N0.5-Flash (思考)
3D 树;Naive-N0.5-Flash (思考)
周末的光线追踪;Naive-N0.5-Flash (思考)
DeepSeek V4.1 Flash 1017 (高)
地球和太阳系;DeepSeek V4.1 Flash 1017 (高)
3D 树;DeepSeek V4.1 Flash 1017 (高)
周末的光线追踪;DeepSeek V4.1 Flash 1017 (高)
GLM 5.3 Flash (高)
地球和太阳系;GLM 5.3 Flash (高)
3D 树;GLM 5.3 Flash (高)
周末的光线追踪;GLM 5.3 Flash (高)
太阳系
第一个应用是地球和太阳系的交互式3D视图。观众可以围绕场景旋转相机,观看行星绕太阳运行,控制面板可以加速或减慢它们的运动。每个表面都由生成的纹理绘制,没有使用任何图像文件。
在三个模型中,Naive-N0.5-Flash (思考) 的效果最好。它的太阳显示出太阳黑子,地球的暗面在夜晚会发出城市灯光的光芒。
DeepSeek V4.1 Flash 1017 (高) 紧随其后。它的版本缺少小行星带,地球的纹理细节也较少。
GLM 5.3 Flash (高) 在光照处理上出现问题,导致行星难以区分。它的速度控制也过于敏感,轻微的调整就会让行星快速飞驰或缓慢爬行。
树木建模
第二个应用通过带种子的随机生成器生成一棵3D树,树枝逐渐变细并分叉,拥有数千片叶子,以及树皮和树叶的纹理。风吹动树枝,树叶飘动,草地上的阴影也随之移动。树木位于渐变的天空和轻雾之下。控制面板可以调整种子、分支深度、叶子数量、风力强度和方向以及太阳位置。还有一个切换按钮可启用秋季颜色,角落里还有一个帧率计数器。
DeepSeek V4.1 Flash 1017 (高) 和 Naive-N0.5-Flash (思考) 都产生了良好的结果。令人意外的是,关闭思考模式的 Naive-N0.5-Flash 完全无法生成可用的应用程序。
良好的结果在风动画中仍有一些小故障。在 DeepSeek V4.1 Flash 1017 (高) 应用中,强风下细枝可能会从母枝上脱离并漂浮。这种效果很微妙,但确实存在。
在 GLM 5.3 Flash (高) 应用中,这个问题更容易看到。当风力强度调高时,整棵树会开始变形并像地震中的果冻雕塑一样摇晃。
《周末的光线追踪》
第三个应用是书籍《周末的光线追踪》的浏览器端移植版本。它渲染了书中的封面场景:一片广阔的灰色地面,散落着一些小哑光、金属和玻璃球,中央有三个大球。一个是玻璃,一个是棕色哑光,一个是抛光金属。景深会模糊前景和背景。图像在屏幕上逐步构建,有进度条、已用时间和每秒光线数量的预估。菜单提供了书中早期的重要场景。用户可以选择预设的画质并下载结果为PNG格式。
在这个更侧重编码的场景中,所有开启思考模式的三个模型都生成了可用的应用程序。
定价
Naive 将 N0.5-Flash 定位为功能强大且成本低廉的模型。目标价格为每百万个输入令牌 0.10 美元,每百万个输出令牌 0.40 美元,每百万个缓存读取令牌 0.01 美元。
这将它置于每百万个输出令牌 0.20 至 0.60 美元的价格区间,该区间内有多个功能强大的 Flash 模型,包括我们比较的两个模型。
最终账单还取决于模型使用的令牌数量。这又取决于请求的思考预算和问题的难度。
总结
在超快速模式下,Naive-N0.5-Flash 的峰值可达每秒约 2000 个令牌,并在以思考为主的任务中保持近 1000 个令牌的持续速度。
在我们的测试中,其中位响应时间比 GLM 5.3 Flash 和 DeepSeek V4.1 Flash 1017 在高思考设置下的响应时间短好几倍。平均时间与 DeepSeek V4.1 Flash 1017 相当。
在复杂任务中,它消耗的思考令牌远多于其他两个模型。在简单和中等难度的问题上,它始终能更快地做出回应。
在应用中,Naive-N0.5-Flash 比 GLM 5.3 Flash(高)表现出更高的一致性。开启思考功能后,它也能与 DeepSeek V4.1 Flash 1017 抗衡。它构建了最详细的太阳系应用,在树模型上与 DeepSeek V4.1 Flash 1017 并列,且在光线追踪效率上紧随其后。
对于重视快速迭代而非令牌经济的开发者来说,这种速度是尝试 Naive-N0.5-Flash 的主要原因。
Naive-N0.5-Flash 的速度依赖于高效的推测解码起草者和定制的推理引擎。报告的解码速度是在单个八 GPU Blackwell 节点上使用 NaiveRT 进行推测解码时测得的。起草者为 Naive-N0.5-Flash-FP8-Draft,该配置针对单流解码延迟进行了优化,而非批量吞吐量。实际速度取决于目标模型每轮接受的起草令牌数量。这会根据检查点对、提示、上下文长度、采样设置和生成内容而变化。报告的数字清楚地表明了这一点:
- 接受率:禁用思考时为 70.6%,启用思考时仅为 43.4%。
- 解码速度:思考阶段约为 984 个令牌/秒,回答阶段约为 1816 个令牌/秒。
- 峰值速度:单秒内约 2100 个令牌。请将此视为上限而非典型速度。
引擎与起草者同样重要。开发人员报告称,在 NaiveRT 中,完整的推测轮次(起草、验证、采样和提交)耗时 3.4 毫秒,而在 SGLang 中耗时 12.3 毫秒,减少了 72.4%。禁用思考的测试中每轮约耗时 3.45 毫秒。有关完整测量结果,请参阅 NaiveRT: Performance。
强化学习的启示:在大规模强化学习中,生成自回归展开是主要瓶颈。任何能降低解码成本的方法,例如此处采用的稀疏注意力(DSA),都能使展开过程更高效。将其他模型适配到DSA架构上,可以显著提升这一过程的效率,加速前沿研究的进展。这与Naive AI的更大愿景相契合:一种能够优化自身推理CUDA内核、并为大规模强化学习训练采用最高效架构的自我改进型AI。