OpenAI 自研「辣椒芯片」首测超英伟达，会让 ChatGPT 更便宜吗？

做芯片很难，第一代产品就做到有竞争力更难。OpenAI 这次交出的答案，至少在大模型推理这件事上，已经足够夸张。

今天，OpenAI 正式公布了其首款定制推理芯片 Jalape o（墨西哥辣椒）的首批实测性能数据。

在基于自己开源模型 GPT-OSS 120B 的公开基准测试 InferenceX 上，Jalape o 的每千瓦峰值吞吐量和 Token 延迟都比现有的硬件系统表现要好。

要知道，对大多数芯片来说，吞吐和延迟往往是一道只能二选一的难题。而除了针对 OpenAI 的大模型优化明显，芯片在 670B 的 DeepSeek R1 和 1T 的 Kimi K2.5 上表现也更出色，对手都是英伟达 GB200/GB300 等市面上最强的商用 AI 系统。

奥特曼在 X 上毫不客气地评价：「我们造了一颗芯片，快得离谱。」

知名科技 Newsletter SemiAnalysi 创始人 Dylan Patel 更给了极高的评价，「第一代芯片通常毫无竞争力，但 OpenAI 正在打败英伟达 Blackwell，甚至 Rubin。」

更巧的是，OpenAI 并不是这几天唯一一家谈芯片的公司。

小米刚刚一口气公布三颗自研芯片，苹果昨天发布首颗 2nm M6，接下来一个月，高通、联发科、苹果和华为的新一代旗舰芯片还会继续扎堆登场。

从数据中心到手机，AI 芯片正在成为所有科技巨头共同争夺的一块地盘。

一份近乎「不讲理」的成绩单

先看 Jalape o 的数据，OpenAI 这次采用 InferenceX 测试，统一设置为 8K 输入、1K 输出，使用标准单 token 预测，没有开启推测解码。对照系统包括英伟达 GB200 和 GB300。

OpenAI 将 DeepSeek R1 与 Kimi K2.5 标为 MXFP4，在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 三个模型上的结果显示：

峰值吞吐量，每瓦的 AI 工作量是对比系统的 1.5 到 1.9 倍，

端到端延迟降低了 1.7 到 3.6 倍，

对于高交互性工作负载，其性能更是提升了 2.1 到 4.1 倍。

在最极端的对比项里，差距被拉得相当大，GB200 此前最佳的单用户速度（约 535 tok/s）下，Jalape o 的每千瓦吞吐是前者的 53.7 倍。

跑 DeepSeek R1 时，Jalape o 单用户可达 700 tok/s，对标系统只有 169 tok/s。而 Jalape o 标称功耗仅 700W，实测持续功耗不超过 550W。

对于规模化推理服务来说，芯片最终拼的除了跑得多快，还有花同样的电、占同样的数据中心容量，能服务多少用户。

换成云计算生意里的语言，就是一句很直接的话：「每瓦吞吐，最后都会变成成本和收入。」

▲跑 DeepSeek R1 时，Jalape o 单用户生成速度最高约 700 tok/s，GB300 为 169 tok/s。

更值得注意的是 OpenAI 这颗辣椒芯片的达成方式：没有多 token 预测（MTP）、没有投机解码、没有 prefill-decode 分离，就这样赢过了软硬件优化的英伟达对手芯片。

SemiAnalysis 长篇技术博客里也验证了测试过程，并确认 Jalape o 跑出的 GSM8k 精度与英伟达芯片持平。

▲文章链接：https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia

当然，X 上的讨论也没少泼冷水。daily.dev 的开发者社区就指出，那个疯传的「104.3 倍」只是特定等速解码场景下的单一数据点，而且测试模型和对比基线都是 OpenAI 自己挑的。

SemiAnalysis 也承认，Jalape o 还没跑过多轮长上下文的 AgentX 测试；真正的对手应该是同样用 HBM4 的 Vera Rubin 而非 Blackwell。

即便如此，最终的共识依然是：第一代自研芯片就站上帕累托前沿，这在行业里没有先例。Meta 和微软折腾多年始终难产的 AI ASIC 项目，是最好的反证。

非 OpenAI 模型独家专用，是通用推理引擎

外界一度认为 OpenAI 造芯是给自家模型开小灶，SemiAnalysis 则提到 Jalape o 是通用推理芯片。测试表现最好的三个模型里，DeepSeek R1 和 Kimi K2.5 根本不在 OpenAI 最初的投产计划内。

团队还提到用 Codex 两个月就把它们优化到了高性能，并且在这颗芯片上成功运行了游戏《Doom》，移植全程只用了 Codex 提示词。

硬件上，Jalape o 采用台积电 N3P 工艺，最新的 B0 步进单计算 die 提供 13.4 PFLOPS 的 MXFP4 算力。同工艺、同尺寸的英伟达 Rubin 计算 die 是 17.5 PFLOPS（NVFP4），但 Jalape o 的 TDP 只有 700W，Rubin 是 900～1150W。

再看设计逻辑。要理解 Jalape o，得先知道大模型推理其实是两种完全不同的活：处理 prompt 的 prefill 阶段吃算力，逐字生成回答的 decode 阶段吃显存带宽，而数据在核心间、芯片间搬来搬去的通信开销则在两边拖后腿。

多数系统擅长其中一种，却会在等待数据时把优势浪费掉。

Jalape o 的核心思路，是尽可能让数据待在原地，减少搬运。

芯片的核心和 HBM 都被切成一一对应的切片，每个核心切片对自己那片 HBM 拥有低延迟的本地视图；KV cache 和模型权重被显式地安置在原地，生成过程中不再挪窝。

切片之间需要同步时，可以走一条专用的高带宽集合通信网络，通用通信则交给另一张简化的 NoC。对比 GPU 里层层穿越的复杂内存体系，这套「极简内存层级」省掉了大量的延迟和功耗。

这套方法论可以总结成两步：硬件负责把理论上限拉到最高，AI 负责找到逼近上限的写法。

结果是它在各种批量、各种形状下都更接近硬件的屋顶线（roofline），尤其是 GPU 最不擅长的小批量、低延迟场景，而这些又恰好是 agentic 工作负载最在意的地方。

系统层面同样贯彻这个思路，OpenAI 没有采用目前热门的优化路线：PD 分离（prefill 和 decode 分池部署），理由是真实流量里输入输出的比例全天都在漂移，固定分池必然一边闲置一边排队，KV cache 跨池搬运还会平添功耗和延迟。

统一池子里，128 颗芯片组成一个机架（CPU 托盘叫 Katsu、ASIC 托盘叫 Vindaloo、交换托盘叫 Chana，都是一串咖喱菜名），16 个机架再用铜缆加光交换织成 2048 颗芯片的单一 scale-up 域。

整个请求从进来到出去，数据都不需要使用 PD 分离的转移。

真正的秘密武器是：用 AI 造芯片

如果 Jalape o 的故事只到这里，它仍然只是一颗性能很强的 ASIC 推理芯片。

真正让这件事有点反常识的，是 OpenAI 连「怎么造芯片」这件事本身，也开始交给 AI 加速。

Jalape o 项目 2024 年年中才启动，2025 年 11 月流片，前后约 16 个月；流片后 9 个月、点亮仅 3 个月就交出了上述成绩。

OpenAI 提到 AI 深度参与了设计：探索实现方案、缩短验证循环、优化算术电路，SIMD 单元面积缩小 8%、矩阵引擎缩小 10% 都有 AI 的功劳。部分 AI 生成的内核实现比人类专家手写版本快 1.5～1.8 倍。

过去几十年，芯片研发一直拥有极高的专业门槛。一套新架构从设计、验证、流片，到建立编译器、内核库和完整的软件生态，通常都需要大量经验丰富的工程师和漫长的迭代周期。

CUDA 最坚固的护城河，也恰恰来自这里。就像英伟达真正难被复制的部分，除了 GPU 本身，还有围绕 GU 积累了十几年的工具链、Kernel、开发者和工程经验。

但 Jalape o 这次 AI 造芯片的经验，展示了另一种可能。硬件工程师可以让模型辅助设计和验证；一颗芯片点亮之后，Codex 又可以帮助工程师写 Kernel、适配新模型，甚至把一个完全没有准备过的模型在几个月内优化到高性能。

于是会出现一个很有意思的循环：用英伟达 GPU 训练出来的 AI，正在帮助工程师设计下一颗不依赖英伟达的芯片。

SemiAnalysis 对此给出了一个非常激进的判断：CUDA 的护城河，可能正在松动。

当然，只是一颗推理芯片的 Jalape o 还远远不足以宣判 CUDA 的结局。但它至少证明了一件以前很难想象的事情：AI 已经开始进入生产下一代 AI 基础设施的研发循环。

模型帮助造芯片，更好的芯片又用来运行下一代模型。

当大家都开始造芯

也正是在这个背景下，再看最近密集发生的芯片新闻，会发现它们指向的是同一个方向。

两天，四家公司，芯片从手机、Mac 延伸到数据中心，小米的「自研芯片 +OS+ 大模型」组合，苹果也是全系芯片都在为 Apple Intelligence 准备好，以及做能跑前沿模型的最好本地设备。

高通、联发科两个手机芯片大厂，骁龙 8 Gen 6 与天玑 9600 也双双杀入 2nm；华为的终端与云端路线上，麒麟 9030 和昇腾系列都将迎来更新。

还有 Anthropic，虽然还没发布芯片，但已经确认组建内部定制芯片团队。

8 月被彭博曝出挖来谷歌 TPU 业务前负责人 Amir Salek，这位老将带队交付了 Google 前七代 TPU；6 月又从 OpenAI 芯片团队挖走二号工程师 Clive Chan，此前在特斯拉参与 Dojo 超级计算机。

OpenAI 博客里那句「AI 的进步在整个系统一起变好时复利最快」，放在这些动作上，全部都成立。

Jalape o 的故事，与其说是「OpenAI 造了一颗好芯片」，不如说是在验证一条新路径：当一个团队同时拥有模型、软件栈和最懂负载的场景时，白纸设计反而成了优势——不用背负向后兼容，还可以让 AI 同时担任设计师和程序员。

而这个 8 月和即将到来的 9 月将证明，这条路径也并不是 OpenAI 独享：所有人都在把「芯片—系统—模型」的垂直整合推到前所未有的深度。

当然，OpenAI 这颗芯片目前仍处在量产验证和软件成熟阶段，测试也没有覆盖真实的长下文、多轮 Agent 工作流等，但整个的方向已经没有悬念。

OpenAI 表示 Gen 2 已经在深入开发中，Gen 3 正在成形，今年年底 Jalape o 将开始进入自有算力基础设施部署，下一个目标是 100MW 规模。

芯片的定义权，正在从少数几家芯片公司手里，流向每一家认真对待 AI 的公司。