AI 芯片


1. 介绍

1.1. 背景

AI 芯片(GPU/NPU 加速器)是 AI Infra 全系列的最底层:一切超节点形态、集群规模、框架策略,都建立在单芯片的算力、显存与互联能力之上。2025-2026 年该领域的两条主线同时展开:海外路线以 NVIDIA 为代表按代际加速迭代(Blackwell → Rubin → Rubin Ultra),国产路线以华为昇腾为代表按"一年一代"推进(950PR/950DT → 960 → 970),并辅以自研 HBM 与自研数据格式补生态短板。

与设计侧视角(芯片如何被设计与制造,详见 02-行业赋能/04-硬件研发组/01-chip-design.md 等)不同,本文聚焦运行侧:芯片以什么参数参与集群、以什么口径被度量、以什么格局影响选型。所有参数引用遵循统一规则:标明来源级别(A级官方 / B级权威转述 / C级待核实),口径冲突并列呈现。

1.2. 定义与范围

AI 芯片方向在运行侧覆盖:

环节内容典型对象
架构形态通用 GPU、NPU、LPU 等专用架构Blackwell/Rubin、昇腾 910C/950、NVIDIA Groq 3 LPX
显存HBM 容量、带宽、自研 HBMHBM3E、HBM4、HiBL 1.0、HiZQ 2.0
数据格式低精度训练/推理格式FP8、MXFP8、MXFP4、NVFP4、HiF8/HiF4
互联单芯片互联端口与协议参与NVLink 6、UB、UALink IP
国产化格局出货份额、生态与工具链CANN 开放、MUSA、IDC 出货数据

边界说明:芯片内部设计(架构验证、封装、测试)不属于本方向,详见 04-硬件研发组;整机形态(服务器、超节点)见本组 02-supernode.md。

1.3. 在 AI Harness 体系中的定位

在 Harness 六层能力模型中,芯片是 L2 执行层的物理基座,对其他层的作用通过物理参数传导:

Harness 层芯片的作用传导路径
L1 上下文工程显存容量与 HBM 带宽决定长上下文与 KV Cache 的可承载规模显存上限 → 上下文窗口与 KV 复用策略
L2 工具与执行芯片是执行底座的物理基座算力与互联 → 执行单元规模
L3 编排与控制—(不直接作用)通过 02-supernode 间接传导
L5 评估与观测数据格式(FP8/MXFP4/HiF8)决定精度-性能权衡的可行域格式支持 → 评估中性能与精度的联合口径
L6 治理与安全出口管制与国产化约束决定可选集供应链 → 治理层的合规约束

瓶颈层判断:本方向自身的瓶颈不在 L3 而在 L1 的物理上限——当上下文工程要求更长的有效上下文与更大的 KV Cache 时,最先触顶的是单卡 HBM 容量与带宽。因此芯片路标中显存参数(容量、带宽、层数)比峰值算力更值得持续跟踪。

1.4. 发展现状:两条路标与一个格局

1.4.1. 海外路标:Blackwell → Rubin → Rubin Ultra

  • Rubin GPU(Vera Rubin NVL72 内,2026 H2 交付):台积电 3nm、约 3360 亿晶体管、288 GB HBM4、22 TB/s 显存带宽;NVLink 6 单 GPU 3.6 TB/s(A级,NVIDIA 产品页,标注 "Preliminary information",即初步规格)。
  • Rubin Ultra NVL576:计划 2027 H2,576 GPU 单一 NVLink 域(A级,预告口径)。
  • 新形态:NVIDIA Groq 3 LPX 机架(2026-03 GTC 官宣):256 LPU、128 GB SRAM、40 PB/s 内存带宽、640 TB/s scale-up,与 NVL72 协同设计,宣称对万亿参数模型每瓦推理 35 倍提升(A级发布事实,性能倍数为厂商口径)。

1.4.2. 国产路标:昇腾一年一代(HC2025 官方,A级)

芯片上市时间关键参数
Ascend 950PR2026 Q1面向推理 Prefill 与推荐;自研低成本 HBM HiBL 1.0;FP8 算力 1 PFLOPS
Ascend 950DT2026 Q4面向 Decode 与训练;自研 HBM HiZQ 2.0,144 GB / 4 TB/s;互联带宽 2 TB/s(较 910C 提升 2.5 倍);FP8 1 PFLOPS / FP4 2 PFLOPS
Ascend 9602027 Q4各规格较 950 翻倍:FP8 2 PFLOPS、FP4 4 PFLOPS,支持自研 HiF4
Ascend 9702028 Q4(规划)FP4 8 PFLOPS、FP8 4 PFLOPS、互联 4 TB/s,内存带宽较 960 至少提升 1.5 倍

配套软件与格式(同场官宣,A级):新增 FP8/MXFP8/MXFP4 与自研 HiF8/HiF4 数据格式(华为称 HiF8 精度接近 FP16);SIMD/SIMT 新同构;内存访问颗粒度从 512B 降至 128B;CANN 编译器和虚拟指令集接口开放;Mind 系列套件与 openPangu 开源(2025-12-31 前完成)。

1.4.3. 市场格局与互联标准参与

市场格局(IDC 口径,经媒体转述,B/C 级,详见 04-硬件研发组 05-ai-infra.md 的完整收录):2025 年中国 AI 加速卡总出货约 400 万张,本土厂商约 165 万张(41%),华为昇腾 81.2 万张(20.3%,国产第一),NVIDIA 约 220 万张(约 55%)。本文只做格局概览,不重复罗列 R03 的完整数据。

互联标准参与(详见 03-cluster.md 展开):NVIDIA 以 NVLink(封闭)+ NVLink Fusion(半开放接入)构建自有体系;UALink 联盟 2025-04 发布 1.0 规范(单 Pod 最多 1024 加速器、每通道 200 GT/s、内存语义访问),2026-04 发布 2.0 及配套规范并新增 In-Network Compute;国产侧芯动科技 2026-05 发布全套 UALink IP(112G 量产、224G 已流片,C 级需逐条标来源)。

图 1-1|2025 年中国 AI 加速卡出货格局与双路标对照

中国 AI 加速卡出货格局(2025,IDC 口径) 总出货约 400 万张;B/C 级(媒体转述 IDC),截至 2026-09-12 NVIDIA 约 220 万张(约 55%) 本土其他厂商约 83.8 万张(约 21%) 华为昇腾 81.2 万张(20.3%,国产第一) 海外路标(NVIDIA) Blackwell(GB200 NVL72,现役) Rubin(288 GB HBM4 / 22 TB/s,2026 H2) Rubin Ultra NVL576(2027 H2 预告) 口径:产品页初步规格 国产路标(昇腾,HC2025) 950PR(2026 Q1)/ 950DT(2026 Q4) 960(2027 Q4)/ 970(2028 Q4 规划) 自研 HBM:HiBL 1.0 / HiZQ 2.0 自研格式:HiF8 / HiF4

数据来源:出货格局为 IDC 数据经媒体转述(B/C 级,详见 04-硬件研发组 05-ai-infra.md);路标为华为 HC2025 与 NVIDIA 产品页(A 级)。本土其他厂商数值由总量减去 NVIDIA 与昇腾推算。

2. 名词解释

术语英文 / 缩写释义
统一总线Unified Bus,UB华为超节点的互联总线,在 CloudMatrix 384 中以 UB 网络连接 384 个 NPU 与 CPU
高带宽内存High Bandwidth Memory,HBM与计算芯片封装在一起的堆栈式内存,AI 加速器的容量与带宽瓶颈所在
昇腾自研 HBMHiBL / HiZQ华为自研 HBM 序列:HiBL 1.0 为低成本款(950PR),HiZQ 2.0 为高配款(950DT,144 GB / 4 TB/s)
华为自研数据格式HiF8 / HiF4华为自研低精度数据格式,官方称 HiF8 精度接近 FP16
微缩格式MXFP8 / MXFP4微缩(Microscaling)块浮点格式家族,按块共享指数以兼顾精度与带宽
模型算力利用率Model FLOPs Utilization,MFU实际有效算力与理论峰值算力之比,芯片选型须落到该指标验证
张量并行Tensor Parallelism,TP把单层权重切分到多卡的并行方式,对互联带宽最敏感
专家混合Mixture of Experts,MoE稀疏激活架构,专家分布对跨卡带宽与显存提出双重要求
密集算力Dense FLOPS不含稀疏加速的峰值算力口径;厂商常同时给出稀疏口径,引用时必须注明
静默数据损坏Silent Data Corruption,SDC硬件无告警但计算结果错误,芯片级可靠性议题(详见 06-ops.md)
半导体互联 IPUALink IP面向 UALink 协议的芯片互联 IP,如芯动科技的全套 UALink IP(112G 量产、224G 流片)
统一计算互联UCIeChiplet 互连标准,UALink 2.0 的 Chiplet 1.0 接口与其 3.0 版本兼容
虚拟指令集Virtual Instruction Set华为开放的编译器与指令接口层,CANN 开放策略的组成部分
出货份额Shipment Share以出货张数计的市场份额,与算力份额(按 EFLOPS 计)口径不同,不可混用
通用图形处理器GPU通用并行处理器,AI 训练推理的主流加速形态
神经网络处理器NPU面向神经网络计算的专用处理器,如昇腾系列

3. 案例

3.1. 昇腾 910C 运行侧实测:CloudMatrix 384 的芯片底座

证据级别:A(华为与硅基流动官方论文,arXiv 2506.12708)

3.1.1. 背景

制程受限条件下,单芯片参数落后时,集群路线是否成立,取决于单芯片的真实运行参数与可组合性。该论文首次公开了昇腾 910C 在 CloudMatrix 384 超节点中的一手运行参数,是国产芯片运行侧最重要的锚点数据。

3.1.2. 方案

  • 封装与算力:双 die 封装,单 die 约 376 TFLOPS 密集 BF16,封装合计约 752 TFLOPS。
  • 显存:封装集成 8 个内存堆栈(每堆栈 16 GB),共 128 GB(每 die 64 GB)。
  • 片上互联:每 die 单向 UB 带宽 392 GB/s。
  • 节点形态:每节点 8 NPU + 4 鲲鹏 CPU + 7 板载 UB 交换芯片;单 NPU 额外 400 Gbps RDMA 单向链路,节点合计 3.2 Tbps。
  • 系统组合:384 昇腾 910C + 192 鲲鹏 CPU 以 UB 网络互联为超节点(超节点细节见 02-supernode.md 案例 1)。

3.1.3. 效果

  • 该芯片组合支撑 CloudMatrix-Infer 在 CM384 上对 DeepSeek-R1 实现 Prefill 6688 tokens/s/NPU、Decode 1943 tokens/s/NPU(INT8 量化,16 项基准精度与 DeepSeek 官方 API 相当)——说明单芯片参数不足可以通过系统级互联与量化策略部分弥补(推理细节见 05-inference-framework.md 案例 1)。
  • 论文意义:业界首次公开非 NVIDIA 体系万卡级 MoE serving 全栈细节,为国产芯片的"系统补单点"路线提供了可复现证据。

Harness 解读:910C 的 128 GB 封装显存与 UB 互联,决定了 L1 上下文工程在该体系中的可行域(KV Cache 跨卡共享依赖统一编址);其 INT8 路线(不支持 FP8)则直接限制了 L5 评估中性能-精度权衡的取值范围。

3.2. 昇腾一年一代路标:950PR/950DT 到 970

证据级别:A(华为全联接大会 2025 官方发布)

3.2.1. 背景

华为在 HC2025 明确判断"中国半导体制造工艺将长期落后、可持续算力只能基于实际可获得的制程"(A级)。在此约束下,路标策略从"追单点制程"转为"一年一代 + 自研配套":自研 HBM 补存储、自研数据格式补精度、开放 CANN 与虚拟指令集补生态。

3.2.2. 方案

1.4.2 节路标表所列四代芯片(950PR/950DT/960/970),配合三项系统性策略:

  • 自研 HBM 序列:HiBL 1.0(低成本,950PR 搭载)与 HiZQ 2.0(950DT 搭载,144 GB / 4 TB/s),减少对第三方 HBM 的依赖。
  • 自研数据格式:HiF8/HiF4 与 MXFP8/MXFP4 并存,给精度-性能权衡增加国产选项;同时内存访问颗粒度从 512B 降至 128B,改善细粒度访存效率。
  • 生态开放:CANN 编译器和虚拟指令集接口开放,Mind 系列套件与 openPangu 开源(2025-12-31 前完成),把"用昇腾"的迁移成本作为一等公民问题解决。

3.2.3. 效果

  • 互联带宽代际跃升:950DT 的 2 TB/s 较 910C 提升 2.5 倍,直接决定其可参与的 Scale-up 域规模(配合 Atlas 950 SuperPoD 的 8192 卡组网,见 02-supernode.md 案例 2)。
  • 路标可预期性本身即效果:以 2026 Q1 至 2028 Q4 每年一档的节奏,给下游集群规划(03-cluster.md)提供采购与容量决策的时间基准。
  • 本案例效果数据均为发布口径,实测 MFU/ETTR 类指标截至信息截止日未获独立验证,引用时应保留"官方发布"限定。

3.3. NVIDIA Rubin:Vera Rubin NVL72 的芯片代际

证据级别:A(NVIDIA 产品页与 GTC 2026 新闻稿,标注"初步规格")

3.3.1. 背景

Blackwell 之后,NVIDIA 以 Rubin 延续"一年一代"节奏:2026-01 CES 宣布全面投产,GTC 2026 宣布七芯片全量产,2026 H2 交付;微软 Azure 于 2026-03-14 完成首家验证。

3.3.2. 方案

  • Rubin GPU:台积电 3nm、约 3360 亿晶体管(百科口径,A/B 交叉)、288 GB HBM4、22 TB/s 显存带宽。
  • 互联:NVLink 6 单 GPU 3.6 TB/s all-to-all;机架 NVLink Switch 总带宽 260 TB/s(超节点视角见 02-supernode.md 案例 3)。
  • 整机:NVL72 合计 NVFP4 推理 3600 PFLOPS(稀疏)/ 训练 2520 PFLOPS(密集)、FP16/BF16 288 PFLOPS、HBM4 总容量 20.7 TB、LPDDR5X 54 TB。

3.3.3. 效果

  • 代际对比(MLPerf 交叉口径,B/C 级转述):MLPerf Training v5.0 中 GB200 每 GPU 训练吞吐最高达等效 Hopper 的 2.6 倍;MLPerf Inference v5.0 每 GPU 推理吞吐约 3.4 倍。Rubin 相对 Blackwell 的公开基准结果截至信息截止日未见,标注为缺口。
  • 口径冲突并列(必须保留):NVL72 的 HBM4 总带宽在 NVIDIA 不同页面出现 1,400 TB/s 与 1,580 TB/s 两个口径。本文按检索报告建议引用 1,580 TB/s 并注明另一口径存在,两口径均标 。
  • Rubin Ultra NVL576 计划 2027 H2(预告口径,A 级,非承诺性交付)。

4. 实践标准

性质声明:以下 AGENTS.md 与 SKILL.md 为基于行业公开实践提炼的建议稿,非官方行业标准原文。未检索到面向 AI 芯片方向的公开标准范本。组级上位规范见同目录 AGENTS.md,以下为芯片方向的裁剪版。

4.1. AGENTS.md 规范

4.1.1. AGENTS.md(AI 芯片方向)

# AGENTS.md —— AI Infra 组 · AI 芯片方向

> 本文为基于行业实践提炼的建议稿,非官方行业标准原文。
> 上位规范:01-AI-Infra组/AGENTS.md(生产集群不可逆动作禁止清单、变更窗口、可观测要求)。

## 角色与边界
- 角色:AI 芯片运行侧智能体,负责芯片选型比对、参数口径核验、
  显存与互联预算测算、数据格式适配评估。
- 不负责:芯片设计/验证/封装/测试问题(转交 04-硬件研发组)、采购决策、
  出口管制合规结论(仅转述公开政策,不下判断)。
- 所有芯片参数必须标来源级别(A 官方 / B 权威转述 / C 待核实)与口径性质
  (实测 / 发布口径 / 初步规格)。

## 环境假设
执行前必须显式声明:
- 目标芯片型号、代际、封装形态(单 die / 双 die)、显存容量与带宽。
- 互联体系:所属 Scale-up 域(NVLink / UB / UALink / 其他)及带宽。
- 数据格式支持集:FP8 / MXFP8 / MXFP4 / NVFP4 / HiF8 / HiF4 等。
- 配套软件栈:CUDA / CANN / MUSA 版本与开放程度。
- 未声明芯片型号与代际时,禁止产出任何算力、显存、互联相关的比较结论。

## 上下文加载顺序(Context Budget)
1. 目标芯片规格表(含来源级别标注)。
2. 竞品对照芯片的同口径规格。
3. 下游约束:目标模型结构(稠密/MoE、专家数)、显存需求、互联需求。
4. 路标时间表(用于交付节奏判断)。
- 新闻报道与自媒体数据不直接进上下文,仅保留经核验的 A/B 级条目。

## 工具契约
- 参数比对输出必须为结构化表格,每行附来源与级别。
- 口径冲突必须并列(如 Rubin HBM4 总带宽 1,400 vs 1,580 TB/s),不得择一默认。
- "初步规格"(Preliminary information)必须保留该限定词直至规格转正。

## 任务执行流程(SOP)
- S1 需求解析:把选型需求分解为算力、显存、互联、格式、生态五维。
- S2 口径统一:确认对比双方使用同口径(密集 vs 稀疏、BF16 vs FP8)。
- S3 候选生成:产出候选芯片组合,附五维对照与缺口说明。
- S4 预算测算:显存承载(模型 + KV Cache + 激活)、互联带宽需求测算。
- S5 风险评估:代际交付风险、生态迁移成本、格式支持缺口。
- S6 证据打包:来源、级别、口径、日期齐备。
- S7 人工确认:采购类建议进入人工决策队列。

## 验证与证据要求
- 算力结论必须注明精度口径与密集/稀疏;显存结论必须注明容量与带宽两项。
- 带宽与算力不得跨口径直接比较(如 FP4 稀疏 vs BF16 密集)。
- 路标时间表注明"发布口径"或"预告口径"。
- 实测类结论仅可引用论文或基准实测(如 arXiv 2506.12708),发布会数字标注为发布口径。

## 失败与升级策略
- 关键参数仅获 C 级来源 → 输出 [待核实] 并暂停比较结论。
- 口径无法统一 → 输出并列对照,升级人工判断。
- 生态适配缺口无法量化 → 升级为 PoC 验证任务。

## 安全与合规红线
- 出口管制议题保持中性转述,不引用未经核实的条款编号。
- 不将单一厂商发布口径作为通用事实陈述。
- 引用第三方出货数据(如 IDC)须注明为转述并建议查原始报告。

## 禁止事项
- 禁止编造芯片型号、规格、路标日期。
- 禁止把初步规格写成正式规格、把发布口径写成实测。
- 禁止虚构标准编号(HBM/UCIe/UALink 等组件级标准除外,须写明标准属组件级)。
- 禁止残留 XX、___ 等非标准占位符。

## 输出格式
- 首行:可判定结论(通过 / 不通过 / 部分通过 + 阻塞项)。
- 五维对照表:算力 / 显存 / 互联 / 格式 / 生态,每维附来源级别。
- 口径声明:密集/稀疏、精度格式、实测/发布/初步规格。
- 待人工确认项:选型建议、采购节奏。
- 数值规范:参数带单位;范围用 ~ 连接;百分比数值与 % 之间不留空格。

## 评估与自检
- 每个参数是否都有来源与级别?
- 口径冲突是否并列而非择一?
- 初步规格是否保留限定词?
- 是否存在跨口径比较?
- 输出是否残留非标准占位符?

4.2. SKILL.md 规范

4.2.1. SKILL.md(AI Infra 组 · AI 芯片选型比对与口径核验)

---
name: ai-chip-selection-and-calibration
description: AI Infra 组芯片方向标准技能——芯片选型五维比对与参数口径核验。
  当需要进行 GPU/NPU 选型比对、核验芯片参数口径、测算显存与互联预算、
  评估数据格式适配时使用。触发词:芯片选型、HBM 带宽、NVLink/UB/UALink、
  FP8/MXFP4/HiF8、路标。
version: 1.0
created: 2026-09-12
---

# AI Infra 组 · AI 芯片选型比对与口径核验

> 本文为基于行业实践提炼的建议稿,非官方行业标准原文。
> 上位规范:01-AI-Infra组/AGENTS.md。

## 适用场景
- 训练/推理集群的加速器选型比对(含国产与海外路线)。
- 芯片参数口径核验(来源级别、密集/稀疏、初步规格标注)。
- 显存承载预算:模型权重 + KV Cache + 激活值是否超单卡/单机上限。
- 互联预算:目标并行策略(TP/EP)所需的 Scale-up 带宽是否满足。
- 数据格式适配:目标框架与模型是否支持 FP8/MXFP4/HiF8 等格式。

## 前置条件
- 已声明目标芯片型号与代际、配套软件栈版本。
- 已知目标模型结构(稠密/MoE、参数量、专家数)与上下文长度需求。
- 具备候选芯片的 A/B 级规格来源(官方产品页、发布会实录、论文实测)。

## 输入
| 输入项 | 说明 | 必需 |
|---|---|---|
| 目标模型需求 | 参数量、专家数、上下文长度、并行策略意向 | 是 |
| 候选芯片规格表 | 含来源与级别标注的规格清单 | 是 |
| 软件栈约束 | CUDA/CANN/MUSA 版本、框架支持矩阵 | 是 |
| 路标时间表 | 各候选代际的发布/上市时间与口径 | 否 |
| 预算与交付约束 | 采购预算、交付时间窗 | 条件必需 |

## 输出
| 输出项 | 说明 | 必需 |
|---|---|---|
| 可判定结论 | 通过 / 不通过 / 部分通过 + 阻塞项 | 是 |
| 五维对照表 | 算力/显存/互联/格式/生态,每维附来源与级别 | 是 |
| 显存预算表 | 权重 + KV Cache + 激活 vs 单卡/单机显存 | 是 |
| 互联预算表 | 并行策略带宽需求 vs 芯片互联能力 | 是 |
| 口径冲突清单 | 两口径并列 + [待核实] 标注 | 条件必需 |
| 待人工确认项 | 选型建议、采购节奏 | 是 |

## 执行步骤
1. 需求解析:把模型需求换算为算力、显存、互联、格式四类硬约束。
2. 口径统一:核对候选规格是否同口径(密集/稀疏、精度格式),不同口径分别列出。
3. 五维比对:生成结构化对照表,逐项标注来源级别(A/B/C)。
4. 显存预算:按目标模型与上下文长度测算权重、KV Cache、激活值占用。
5. 互联预算:按并行策略测算 TP/EP 所需带宽,对照芯片 Scale-up 能力。
6. 格式核验:确认目标框架对候选数据格式的支持矩阵。
7. 风险评估:代际交付风险、生态迁移成本、口径冲突汇总。
8. 交付:结论 + 对照表 + 冲突清单 + 待人工确认项。

## 质量标准(DoD)
- 每个参数有来源与级别;口径冲突并列;初步规格保留限定词。
- 显存与互联预算给出计算过程与假设。
- 无跨口径比较;无数值编造;无残留非标准占位符。
- 参照口径(不得直接套用):昇腾 910C 封装 752 TFLOPS 密集 BF16、128 GB、
  每 die UB 392 GB/s(A级,arXiv 2506.12708 实测口径);昇腾 950DT 144 GB /
  4 TB/s、互联 2 TB/s(A级,发布口径);Rubin 288 GB HBM4 / 22 TB/s(A级,
  初步规格)。

## 常见失败与处理
| 失败模式 | 现象 | 处理 |
|---|---|---|
| 口径混比 | FP4 稀疏对比 BF16 密集 | 分列不同精度口径,禁止换算合并 |
| 初步规格固化 | 把 Preliminary information 写成正式规格 | 保留限定词,标注 [待核实] |
| 来源缺级 | 关键参数只有自媒体来源 | 标 C 级 [待核实],暂停比较结论 |
| 显存漏项 | 预算只算权重漏掉 KV Cache | 强制三项分列(权重/KV/激活) |
| 路标当承诺 | 把预告日期写成确定交付 | 标注"发布口径/预告口径" |

## 示例
任务:为 MoE 模型(专家数 320、上下文 128K)在某国产超节点体系与某海外
机架级体系间做显存与互联适配初判。
1. 需求解析:320 专家 → EP 并行 → 高 Scale-up 带宽需求;128K 上下文 →
   KV Cache 显存需求显著。
2. 口径统一:候选 A(910C 级)用论文实测口径;候选 B(Rubin 级)用
   产品页初步规格口径,分别标注。
3. 五维比对:A 显存 128 GB / 封装、UB 互联、INT8 路线;B 显存 288 GB
   HBM4 / 22 TB/s、NVLink 6、NVFP4 路线;各标级别。
4. 显存与互联预算:给出权重/KV/激活三项测算与 EP 带宽测算。
5. 风险:A 依赖系统级组合弥补单卡差距(参照 CM384 案例);B 为初步规格。
6. 交付:部分通过——两条路线均可行但假设不同,显存预算需按最终并行
   策略复核;冲突清单与待确认项齐备。

4.3. 落地检查清单

序号检查项判定标准必需
1环境声明芯片型号、代际、软件栈已声明
2来源级别每个参数标注 A/B/C 与来源性质
3口径统一密集/稀疏、精度格式口径一致或分列
4初步规格标注Preliminary information 限定词保留
5口径冲突并列冲突口径并列呈现并标 条件必需
6显存三项权重、KV Cache、激活分列测算
7互联预算并行策略带宽需求与芯片能力对照
8格式支持矩阵目标框架与数据格式支持已核验
9路标口径发布口径/预告口径已区分条件必需
10出口管制中性相关表述中性、无未核实条款编号
11证据齐备来源、日期、口径、级别齐备
12占位符清理无 XX、___ 等非标准占位符

5. 总结

AI 芯片是 Harness 六层模型中 L2 执行层的物理基座,对 L1 的传导(显存决定上下文承载)与对 L5 的传导(数据格式决定精度-性能可行域)最为直接。三条结论:

  1. 路标即规划工具。 海外(Rubin 2026 H2 → Rubin Ultra 2027 H2)与国产(950PR/950DT → 960 → 970)双路标都进入"一年一代"节奏,集群选型必须把交付节奏作为一等变量。
  2. 口径纪律是可信度的基础。 本方向口径冲突密度最高(Rubin HBM4 总带宽 1400/1580 TB/s 并列、实测与发布口径混用风险),所有数字必须标来源级别与口径性质。
  3. 系统补单点是国产路线的既定策略。 910C 实测(arXiv 2506.12708)证明单芯片参数可以通过系统互联与量化策略部分弥补,评估国产芯片时应以"芯片 + 互联 + 框架"的系统口径为准,避免单点对比失真。

信息缺口声明

以下条目未获 A/B 级来源确认,已在正文标注 :

  1. 本方向未检索到面向 AI 芯片运行侧的 IEEE/ISO/JEDEC 专用标准;HBM、UCIe、UALink 等属组件级/互联标准,撰写时须如实说明,不得虚构标准编号。
  2. Rubin NVL72 HBM4 总带宽 1,400 TB/s 与 1,580 TB/s 两口径冲突(同为 NVIDIA 页面),已并列,均标 。
  3. Rubin 相对 Blackwell 的公开基准(MLPerf 或第三方实测)截至 2026-09-12 未检索到。
  4. 昇腾 950/960/970 全部为发布口径,无独立实测的 MFU/ETTR 类指标。
  5. IDC 出货数据(总 400 万张、昇腾 81.2 万张)为媒体转述,建议查 IDC 原始报告;本土其他厂商份额为推算值。
  6. 芯动科技 UALink IP(112G 量产、224G 流片)与瀚博 ODCC 互通测试为行业分析文口径,C 级,逐条引用需再核来源。
  7. NVIDIA Groq 3 LPX 的"每瓦推理 35 倍提升"为厂商宣称口径。
  8. 未检索到面向本方向的公开 AGENTS.md/SKILL.md 标准范本,本文为建议稿。

6. 参考资料

  1. 以开创的超节点互联技术,引领AI基础设施新范式(徐直军 HC2025 主题演讲,含昇腾路标)— 华为,2025-09-18。https://www.huawei.com/cn/news/2025/9/hc-xu-keynote-speech
  2. Serving Large Language Models on Huawei CloudMatrix384 — 华为/硅基流动,arXiv 2506.12708,2025-06。https://arxiv.org/pdf/2506.12708
  3. NVIDIA Vera Rubin NVL72 产品页(初步规格)— NVIDIA,2026-03。https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/
  4. NVIDIA Vera Rubin Opens Agentic AI Frontier(GTC 2026 新闻稿)— NVIDIA,2026-03。https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Vera-Rubin-Opens-Agentic-AI-Frontier/
  5. NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems — NVIDIA Developer Blog,2026-03。https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/
  6. UALink 1.0/2.0 规范发布(2025-04 / 2026-04,多源交叉)— UALink Consortium。https://ualinkconsortium.org/
  7. 超节点关键技术与产业发展态势研究 — 中国热物理学会(转载),2025-2026。https://www.zgcsswdx.cn/info/24724.html
  8. Multiple AI Scale-Up Options Emerge(NVLink Fusion/ESUN/UALink 边界分析)— SemiEngineering。https://semiengineering.com/multiple-ai-scale-up-options-emerge/
  9. 2025 年中国 AI 加速卡出货(引 IDC)— 新浪财经。https://finance.sina.com.cn/jjxw/2026-09-02/doc-iniqmmyw1388522.shtml
  10. AI Infra(设计侧,芯片规格与国产格局交叉引用)— 02-行业赋能/04-硬件研发组/05-ai-infra.md,2026-09-12。

AI Chips

1. Introduction

1.1. Background

AI chips (GPU/NPU accelerators) are the bottom layer of the entire AI Infra series: every supernode form factor, cluster scale, and framework strategy is built on a single chip's compute, memory, and interconnect capabilities. In 2025–2026 two main threads unfolded in this field in parallel: the overseas route, represented by NVIDIA, accelerates iteration generation by generation (Blackwell → Rubin → Rubin Ultra), while the domestic route, represented by Huawei Ascend, advances with "one generation per year" (950PR/950DT → 960 → 970), supplemented by self-developed HBM and self-developed data formats to fill ecosystem gaps.

Unlike the design-side perspective (how chips are designed and manufactured; see 02-行业赋能/04-硬件研发组/01-chip-design.md etc.), this article focuses on the runtime side: with what parameters a chip participates in a cluster, by what baseline it is measured, and with what structure it influences selection. All parameter citations follow a unified rule: state the source level (A级 official / B级 authoritative relay / C级 to be verified), and present conflicting baselines side by side.

1.2. Definition and Scope

The AI chip direction covers the following on the runtime side:

StageContentTypical objects
Architecture formGeneral-purpose GPU, NPU, LPU and other dedicated architecturesBlackwell/Rubin, Ascend 910C/950, NVIDIA Groq 3 LPX
MemoryHBM capacity, bandwidth, self-developed HBMHBM3E, HBM4, HiBL 1.0, HiZQ 2.0
Data formatsLow-precision training/inference formatsFP8, MXFP8, MXFP4, NVFP4, HiF8/HiF4
InterconnectSingle-chip interconnect ports and protocol participationNVLink 6, UB, UALink IP
Domestication landscapeShipment share, ecosystem and toolchainCANN open, MUSA, IDC shipment data

Boundary note: chip internal design (architecture verification, packaging, testing) is outside this direction; see 04-硬件研发组 for details; whole-machine form factors (servers, supernodes) are covered in this group's 02-supernode.md.

1.3. Position in the AI Harness System

In the Harness six-layer capability model, the chip is the physical foundation of the L2 execution layer; its effect on other layers is transmitted through physical parameters:

Harness layerRole of the chipTransmission path
L1 Context EngineeringMemory capacity and HBM bandwidth determine how large a long-context and KV Cache can be carriedMemory ceiling → context window and KV reuse strategy
L2 Tools & ExecutionThe chip is the physical foundation of the execution baseCompute and interconnect → execution unit scale
L3 Orchestration & Control— (no direct effect)Transmitted indirectly through 02-supernode
L5 Evaluation & ObservabilityData formats (FP8/MXFP4/HiF8) determine the feasible region of the accuracy–performance tradeoffFormat support → joint accuracy-and-performance baseline in evaluation
L6 Governance & SecurityExport controls and domestication constraints determine the choice setSupply chain → compliance constraints for the governance layer

Bottleneck-layer judgment: this direction's own bottleneck lies not in L3 but in the physical ceiling of L1 — when context engineering demands longer effective context and larger KV Cache, what hits the ceiling first is single-card HBM capacity and bandwidth. Therefore, among chip roadmap parameters, memory parameters (capacity, bandwidth, stack layers) deserve more sustained tracking than peak compute.

1.4. Current State: Two Roadmaps and One Landscape

1.4.1. Overseas Roadmap: Blackwell → Rubin → Rubin Ultra

  • Rubin GPU (inside Vera Rubin NVL72, delivered 2026 H2): TSMC 3nm, ~336 billion transistors, 288 GB HBM4, 22 TB/s memory bandwidth; NVLink 6 single GPU 3.6 TB/s (Level A, NVIDIA product page, marked "Preliminary information", i.e. preliminary specifications).
  • Rubin Ultra NVL576: planned 2027 H2, 576 GPUs in a single NVLink domain (Level A, teaser baseline).
  • New form factor: NVIDIA Groq 3 LPX rack (officially announced at GTC 2026-03): 256 LPUs, 128 GB SRAM, 40 PB/s memory bandwidth, 640 TB/s scale-up, co-designed with NVL72, claiming a 35× per-watt inference improvement for trillion-parameter models (Level A announcement fact; the performance multiple is the vendor's claim).

1.4.2. Domestic Roadmap: Ascend One Generation per Year (official at HC2025, Level A)

ChipLaunch timeKey parameters
Ascend 950PR2026 Q1Targets inference Prefill and recommendation; self-developed low-cost HBM HiBL 1.0; FP8 compute 1 PFLOPS
Ascend 950DT2026 Q4Targets Decode and training; self-developed HBM HiZQ 2.0, 144 GB / 4 TB/s; interconnect bandwidth 2 TB/s (2.5× over 910C); FP8 1 PFLOPS / FP4 2 PFLOPS
Ascend 9602027 Q4Every specification doubles over the 950: FP8 2 PFLOPS, FP4 4 PFLOPS, supports self-developed HiF4
Ascend 9702028 Q4 (planned)FP4 8 PFLOPS, FP8 4 PFLOPS, interconnect 4 TB/s, memory bandwidth at least 1.5× over the 960

Companion software and formats (announced at the same event, Level A): newly added FP8/MXFP8/MXFP4 and self-developed HiF8/HiF4 data formats (Huawei states HiF8 accuracy is close to FP16); new SIMD/SIMT homomorphism; memory access granularity reduced from 512B to 128B; CANN compiler and virtual instruction set interfaces opened; Mind series suites and openPangu open-sourced (completed by 2025-12-31).

1.4.3. Market Landscape and Interconnect Standard Participation

Market landscape (IDC baseline, relayed through media, Level B/C; see 04-硬件研发组 05-ai-infra.md for the full record): 2025 total China AI accelerator card shipments were about 4 million units, domestic vendors about 1.65 million (41%), Huawei Ascend 812,000 (20.3%, first domestically), NVIDIA about 2.2 million (about 55%). This article only gives a landscape overview and does not repeat R03's full data.

Interconnect standard participation (expanded in 03-cluster.md): NVIDIA builds its own system with NVLink (closed) + NVLink Fusion (semi-open access); the UALink consortium released the 1.0 spec in 2025-04 (up to 1024 accelerators per Pod, 200 GT/s per channel, memory-semantic access), and in 2026-04 released 2.0 and companion specs and added In-Network Compute; on the domestic side, Xinlian Technology (芯动科技) released a full suite of UALink IP in 2026-05 (112G in production, 224G taped out — Level C, each entry needs its source marked).

Figure 1-1 | 2025 China AI accelerator card shipment landscape and dual-roadmap comparison

中国 AI 加速卡出货格局(2025,IDC 口径) 总出货约 400 万张;B/C 级(媒体转述 IDC),截至 2026-09-12 NVIDIA 约 220 万张(约 55%) 本土其他厂商约 83.8 万张(约 21%) 华为昇腾 81.2 万张(20.3%,国产第一) 海外路标(NVIDIA) Blackwell(GB200 NVL72,现役) Rubin(288 GB HBM4 / 22 TB/s,2026 H2) Rubin Ultra NVL576(2027 H2 预告) 口径:产品页初步规格 国产路标(昇腾,HC2025) 950PR(2026 Q1)/ 950DT(2026 Q4) 960(2027 Q4)/ 970(2028 Q4 规划) 自研 HBM:HiBL 1.0 / HiZQ 2.0 自研格式:HiF8 / HiF4

Data sources: the shipment landscape is IDC data relayed through media (Level B/C; see 04-硬件研发组 05-ai-infra.md); the roadmaps are from Huawei HC2025 and NVIDIA product pages (Level A). The "other domestic vendors" figure is derived by subtracting NVIDIA and Ascend from the total.

2. Glossary

TermEnglish / AbbreviationDefinition
Unified BusUnified Bus, UBHuawei supernode interconnect bus; in CloudMatrix 384 it connects 384 NPUs and CPUs via the UB network
High Bandwidth MemoryHigh Bandwidth Memory, HBMStacked memory packaged together with the compute chip; the capacity and bandwidth bottleneck of AI accelerators
Ascend self-developed HBMHiBL / HiZQHuawei's self-developed HBM series: HiBL 1.0 is the low-cost model (950PR), HiZQ 2.0 is the high-end model (950DT, 144 GB / 4 TB/s)
Huawei self-developed data formatHiF8 / HiF4Huawei's self-developed low-precision data formats; officially stated HiF8 accuracy is close to FP16
Microscaling formatMXFP8 / MXFP4The Microscaling block-floating-point format family, sharing exponent per block to balance accuracy and bandwidth
Model FLOPs UtilizationModel FLOPs Utilization, MFUThe ratio of actual effective compute to theoretical peak compute; chip selection must be validated against this metric
Tensor ParallelismTensor Parallelism, TPA parallelism that shards single-layer weights across multiple cards; most sensitive to interconnect bandwidth
Mixture of ExpertsMixture of Experts, MoEA sparse-activation architecture; expert distribution imposes dual requirements on cross-card bandwidth and memory
Dense FLOPSDense FLOPSA peak-compute baseline that excludes sparse acceleration; vendors often also give a sparse baseline, which must be noted when cited
Silent Data CorruptionSilent Data Corruption, SDCHardware produces wrong results without warning; a chip-level reliability topic (see 06-ops.md)
Semiconductor interconnect IPUALink IPChip interconnect IP for the UALink protocol, e.g. Xinlian Technology's full suite of UALink IP (112G in production, 224G taped out)
Unified Compute InterconnectUCIeA chiplet interconnect standard; UALink 2.0's Chiplet 1.0 interface is compatible with its 3.0 version
Virtual Instruction SetVirtual Instruction SetThe compiler and instruction interface layer opened by Huawei, part of the CANN openness strategy
Shipment ShareShipment ShareMarket share measured by units shipped; differs in baseline from compute share (measured in EFLOPS) and must not be mixed
General-Purpose Graphics Processing UnitGPUA general-purpose parallel processor, the mainstream accelerator form for AI training and inference
Neural Processing UnitNPUA dedicated processor for neural-network computation, e.g. the Ascend series

3. Case Studies

3.1. Ascend 910C Runtime Measurement: The Chip Foundation of CloudMatrix 384

Evidence level: A (official paper by Huawei and SiliconFlow, arXiv 2506.12708)

3.1.1. Background

Under process constraints, when single-chip parameters lag, whether the cluster route holds depends on a single chip's real runtime parameters and its composability. This paper disclosed for the first time first-hand runtime parameters of the Ascend 910C in the CloudMatrix 384 supernode, making it the most important anchor data on the runtime side of domestic chips.

3.1.2. Approach

  • Packaging and compute: dual-die packaging, ~376 TFLOPS dense BF16 per die, ~752 TFLOPS packaged in total.
  • Memory: package integrates 8 memory stacks (16 GB each), 128 GB total (64 GB per die).
  • On-chip interconnect: unidirectional UB bandwidth of 392 GB/s per die.
  • Node form factor: 8 NPUs + 4 Kunpeng CPUs + 7 on-board UB switch chips per node; an additional 400 Gbps RDMA unidirectional link per NPU, 3.2 Tbps total per node.
  • System composition: 384 Ascend 910Cs + 192 Kunpeng CPUs interconnected via the UB network into a supernode (supernode details in 02-supernode.md Case 1).

3.1.3. Results

  • This chip combination lets CloudMatrix-Infer on CM384 achieve Prefill 6688 tokens/s/NPU and Decode 1943 tokens/s/NPU on DeepSeek-R1 (INT8 quantization; accuracy on 16 benchmarks comparable to DeepSeek's official API) — showing that insufficient single-chip parameters can be partly compensated by system-level interconnect and quantization strategies (inference details in 05-inference-framework.md Case 1).
  • Significance of the paper: the industry's first disclosure of full-stack details for ten-thousand-GPU-scale MoE serving outside the NVIDIA ecosystem, providing reproducible evidence for the domestic "system compensates for single points" route.

Harness interpretation: the 910C's 128 GB packaged memory and UB interconnect determine the feasible region of L1 context engineering in this ecosystem (KV Cache sharing across cards relies on unified addressing); its INT8 route (no FP8 support) directly limits the range of the performance–accuracy tradeoff in L5 evaluation.

3.2. Ascend One-Generation-Per-Year Roadmap: 950PR/950DT to 970

Evidence level: A (official announcement at Huawei Connect 2025)

3.2.1. Background

At HC2025, Huawei clearly judged that "China's semiconductor manufacturing process will lag for a long time, and sustainable compute can only be based on actually obtainable process nodes" (Level A). Under this constraint, its roadmap strategy shifted from "chasing single-point process" to "one generation per year + self-developed companions": self-developed HBM to fill storage, self-developed data formats to fill precision, and opening CANN and the virtual instruction set to fill the ecosystem.

3.2.2. Approach

The four generations of chips listed in the Section 1.4.2 roadmap table (950PR/950DT/960/970), combined with three systematic strategies:

  • Self-developed HBM series: HiBL 1.0 (low-cost, carried by the 950PR) and HiZQ 2.0 (carried by the 950DT, 144 GB / 4 TB/s), reducing dependence on third-party HBM.
  • Self-developed data formats: HiF8/HiF4 coexist with MXFP8/MXFP4, adding domestic options to the precision–performance tradeoff; meanwhile memory access granularity drops from 512B to 128B, improving fine-grained memory access efficiency.
  • Ecosystem openness: the CANN compiler and virtual instruction set interfaces are opened, and the Mind series suites and openPangu are open-sourced (completed by 2025-12-31), treating the cost of migrating "onto Ascend" as a first-class problem.

3.2.3. Results

  • Interconnect bandwidth jumps a generation: 950DT's 2 TB/s is 2.5× over the 910C, directly determining the scale of the Scale-up domain it can join (paired with the Atlas 950 SuperPoD's 8192-card network, see 02-supernode.md Case 2).
  • Roadmap predictability itself is an effect: at a cadence of one tier per year from 2026 Q1 to 2028 Q4, it gives downstream cluster planning (03-cluster.md) a time baseline for procurement and capacity decisions.
  • This case's effect data are all published baselines; measured MFU/ETTR-type metrics had not been independently validated as of the information cutoff, so the "official release" qualifier should be retained when citing.

3.3. NVIDIA Rubin: The Chip Generation of Vera Rubin NVL72

Evidence level: A (NVIDIA product page and GTC 2026 press release, marked "preliminary specifications")

3.3.1. Background

After Blackwell, NVIDIA continues the "one generation per year" cadence with Rubin: full production announced at CES 2026-01, all seven chips fully mass-produced announced at GTC 2026, delivery in 2026 H2; Microsoft Azure completed the first validation on 2026-03-14.

3.3.2. Approach

  • Rubin GPU: TSMC 3nm, ~336 billion transistors (encyclopedia baseline, A/B cross-checked), 288 GB HBM4, 22 TB/s memory bandwidth.
  • Interconnect: NVLink 6 single GPU 3.6 TB/s all-to-all; rack NVLink Switch total bandwidth 260 TB/s (supernode view in 02-supernode.md Case 3).
  • Whole machine: NVL72 totaling NVFP4 inference 3600 PFLOPS (sparse) / training 2520 PFLOPS (dense), FP16/BF16 288 PFLOPS, HBM4 total capacity 20.7 TB, LPDDR5X 54 TB.

3.3.3. Results

  • Generation comparison (MLPerf cross-baseline, Level B/C relay): in MLPerf Training v5.0, GB200 per-GPU training throughput reaches up to 2.6× an equivalent Hopper; in MLPerf Inference v5.0, per-GPU inference throughput is about 3.4×. Public benchmark results of Rubin versus Blackwell had not been seen as of the information cutoff and are marked as a gap.
  • Conflicting baselines shown side by side (must be retained): NVL72's total HBM4 bandwidth appears as two baselines, 1,400 TB/s and 1,580 TB/s, on different NVIDIA pages. This article follows the research report's recommendation to cite 1,580 TB/s while noting that the other baseline exists, and marks both as [To be verified].
  • Rubin Ultra NVL576 planned 2027 H2 (teaser baseline, Level A, non-committal delivery).

4. Practice Standards

Nature statement: the AGENTS.md and SKILL.md below are draft proposals distilled from public industry practice, not the text of official industry standards. No public standard exemplar for the AI chip direction was found. The group-level governing spec is in the same directory's AGENTS.md; the following is a trimmed version for the chip direction.

4.1. AGENTS.md Specification

4.1.1. AGENTS.md (AI Chip Direction)

# AGENTS.md —— AI Infra 组 · AI 芯片方向

> 本文为基于行业实践提炼的建议稿,非官方行业标准原文。
> 上位规范:01-AI-Infra组/AGENTS.md(生产集群不可逆动作禁止清单、变更窗口、可观测要求)。

## 角色与边界
- 角色:AI 芯片运行侧智能体,负责芯片选型比对、参数口径核验、
  显存与互联预算测算、数据格式适配评估。
- 不负责:芯片设计/验证/封装/测试问题(转交 04-硬件研发组)、采购决策、
  出口管制合规结论(仅转述公开政策,不下判断)。
- 所有芯片参数必须标来源级别(A 官方 / B 权威转述 / C 待核实)与口径性质
  (实测 / 发布口径 / 初步规格)。

## 环境假设
执行前必须显式声明:
- 目标芯片型号、代际、封装形态(单 die / 双 die)、显存容量与带宽。
- 互联体系:所属 Scale-up 域(NVLink / UB / UALink / 其他)及带宽。
- 数据格式支持集:FP8 / MXFP8 / MXFP4 / NVFP4 / HiF8 / HiF4 等。
- 配套软件栈:CUDA / CANN / MUSA 版本与开放程度。
- 未声明芯片型号与代际时,禁止产出任何算力、显存、互联相关的比较结论。

## 上下文加载顺序(Context Budget)
1. 目标芯片规格表(含来源级别标注)。
2. 竞品对照芯片的同口径规格。
3. 下游约束:目标模型结构(稠密/MoE、专家数)、显存需求、互联需求。
4. 路标时间表(用于交付节奏判断)。
- 新闻报道与自媒体数据不直接进上下文,仅保留经核验的 A/B 级条目。

## 工具契约
- 参数比对输出必须为结构化表格,每行附来源与级别。
- 口径冲突必须并列(如 Rubin HBM4 总带宽 1,400 vs 1,580 TB/s),不得择一默认。
- "初步规格"(Preliminary information)必须保留该限定词直至规格转正。

## 任务执行流程(SOP)
- S1 需求解析:把选型需求分解为算力、显存、互联、格式、生态五维。
- S2 口径统一:确认对比双方使用同口径(密集 vs 稀疏、BF16 vs FP8)。
- S3 候选生成:产出候选芯片组合,附五维对照与缺口说明。
- S4 预算测算:显存承载(模型 + KV Cache + 激活)、互联带宽需求测算。
- S5 风险评估:代际交付风险、生态迁移成本、格式支持缺口。
- S6 证据打包:来源、级别、口径、日期齐备。
- S7 人工确认:采购类建议进入人工决策队列。

## 验证与证据要求
- 算力结论必须注明精度口径与密集/稀疏;显存结论必须注明容量与带宽两项。
- 带宽与算力不得跨口径直接比较(如 FP4 稀疏 vs BF16 密集)。
- 路标时间表注明"发布口径"或"预告口径"。
- 实测类结论仅可引用论文或基准实测(如 arXiv 2506.12708),发布会数字标注为发布口径。

## 失败与升级策略
- 关键参数仅获 C 级来源 → 输出 [待核实] 并暂停比较结论。
- 口径无法统一 → 输出并列对照,升级人工判断。
- 生态适配缺口无法量化 → 升级为 PoC 验证任务。

## 安全与合规红线
- 出口管制议题保持中性转述,不引用未经核实的条款编号。
- 不将单一厂商发布口径作为通用事实陈述。
- 引用第三方出货数据(如 IDC)须注明为转述并建议查原始报告。

## 禁止事项
- 禁止编造芯片型号、规格、路标日期。
- 禁止把初步规格写成正式规格、把发布口径写成实测。
- 禁止虚构标准编号(HBM/UCIe/UALink 等组件级标准除外,须写明标准属组件级)。
- 禁止残留 XX、___ 等非标准占位符。

## 输出格式
- 首行:可判定结论(通过 / 不通过 / 部分通过 + 阻塞项)。
- 五维对照表:算力 / 显存 / 互联 / 格式 / 生态,每维附来源级别。
- 口径声明:密集/稀疏、精度格式、实测/发布/初步规格。
- 待人工确认项:选型建议、采购节奏。
- 数值规范:参数带单位;范围用 ~ 连接;百分比数值与 % 之间不留空格。

## 评估与自检
- 每个参数是否都有来源与级别?
- 口径冲突是否并列而非择一?
- 初步规格是否保留限定词?
- 是否存在跨口径比较?
- 输出是否残留非标准占位符?

4.2. SKILL.md Specification

4.2.1. SKILL.md (AI Infra Group · AI Chip Selection Comparison and Baseline Verification)

---
name: ai-chip-selection-and-calibration
description: AI Infra 组芯片方向标准技能——芯片选型五维比对与参数口径核验。
  当需要进行 GPU/NPU 选型比对、核验芯片参数口径、测算显存与互联预算、
  评估数据格式适配时使用。触发词:芯片选型、HBM 带宽、NVLink/UB/UALink、
  FP8/MXFP4/HiF8、路标。
version: 1.0
created: 2026-09-12
---

# AI Infra 组 · AI 芯片选型比对与口径核验

> 本文为基于行业实践提炼的建议稿,非官方行业标准原文。
> 上位规范:01-AI-Infra组/AGENTS.md。

## 适用场景
- 训练/推理集群的加速器选型比对(含国产与海外路线)。
- 芯片参数口径核验(来源级别、密集/稀疏、初步规格标注)。
- 显存承载预算:模型权重 + KV Cache + 激活值是否超单卡/单机上限。
- 互联预算:目标并行策略(TP/EP)所需的 Scale-up 带宽是否满足。
- 数据格式适配:目标框架与模型是否支持 FP8/MXFP4/HiF8 等格式。

## 前置条件
- 已声明目标芯片型号与代际、配套软件栈版本。
- 已知目标模型结构(稠密/MoE、参数量、专家数)与上下文长度需求。
- 具备候选芯片的 A/B 级规格来源(官方产品页、发布会实录、论文实测)。

## 输入
| 输入项 | 说明 | 必需 |
|---|---|---|
| 目标模型需求 | 参数量、专家数、上下文长度、并行策略意向 | 是 |
| 候选芯片规格表 | 含来源与级别标注的规格清单 | 是 |
| 软件栈约束 | CUDA/CANN/MUSA 版本、框架支持矩阵 | 是 |
| 路标时间表 | 各候选代际的发布/上市时间与口径 | 否 |
| 预算与交付约束 | 采购预算、交付时间窗 | 条件必需 |

## 输出
| 输出项 | 说明 | 必需 |
|---|---|---|
| 可判定结论 | 通过 / 不通过 / 部分通过 + 阻塞项 | 是 |
| 五维对照表 | 算力/显存/互联/格式/生态,每维附来源与级别 | 是 |
| 显存预算表 | 权重 + KV Cache + 激活 vs 单卡/单机显存 | 是 |
| 互联预算表 | 并行策略带宽需求 vs 芯片互联能力 | 是 |
| 口径冲突清单 | 两口径并列 + [待核实] 标注 | 条件必需 |
| 待人工确认项 | 选型建议、采购节奏 | 是 |

## 执行步骤
1. 需求解析:把模型需求换算为算力、显存、互联、格式四类硬约束。
2. 口径统一:核对候选规格是否同口径(密集/稀疏、精度格式),不同口径分别列出。
3. 五维比对:生成结构化对照表,逐项标注来源级别(A/B/C)。
4. 显存预算:按目标模型与上下文长度测算权重、KV Cache、激活值占用。
5. 互联预算:按并行策略测算 TP/EP 所需带宽,对照芯片 Scale-up 能力。
6. 格式核验:确认目标框架对候选数据格式的支持矩阵。
7. 风险评估:代际交付风险、生态迁移成本、口径冲突汇总。
8. 交付:结论 + 对照表 + 冲突清单 + 待人工确认项。

## 质量标准(DoD)
- 每个参数有来源与级别;口径冲突并列;初步规格保留限定词。
- 显存与互联预算给出计算过程与假设。
- 无跨口径比较;无数值编造;无残留非标准占位符。
- 参照口径(不得直接套用):昇腾 910C 封装 752 TFLOPS 密集 BF16、128 GB、
  每 die UB 392 GB/s(A级,arXiv 2506.12708 实测口径);昇腾 950DT 144 GB /
  4 TB/s、互联 2 TB/s(A级,发布口径);Rubin 288 GB HBM4 / 22 TB/s(A级,
  初步规格)。

## 常见失败与处理
| 失败模式 | 现象 | 处理 |
|---|---|---|
| 口径混比 | FP4 稀疏对比 BF16 密集 | 分列不同精度口径,禁止换算合并 |
| 初步规格固化 | 把 Preliminary information 写成正式规格 | 保留限定词,标注 [待核实] |
| 来源缺级 | 关键参数只有自媒体来源 | 标 C 级 [待核实],暂停比较结论 |
| 显存漏项 | 预算只算权重漏掉 KV Cache | 强制三项分列(权重/KV/激活) |
| 路标当承诺 | 把预告日期写成确定交付 | 标注"发布口径/预告口径" |

## 示例
任务:为 MoE 模型(专家数 320、上下文 128K)在某国产超节点体系与某海外
机架级体系间做显存与互联适配初判。
1. 需求解析:320 专家 → EP 并行 → 高 Scale-up 带宽需求;128K 上下文 →
   KV Cache 显存需求显著。
2. 口径统一:候选 A(910C 级)用论文实测口径;候选 B(Rubin 级)用
   产品页初步规格口径,分别标注。
3. 五维比对:A 显存 128 GB / 封装、UB 互联、INT8 路线;B 显存 288 GB
   HBM4 / 22 TB/s、NVLink 6、NVFP4 路线;各标级别。
4. 显存与互联预算:给出权重/KV/激活三项测算与 EP 带宽测算。
5. 风险:A 依赖系统级组合弥补单卡差距(参照 CM384 案例);B 为初步规格。
6. 交付:部分通过——两条路线均可行但假设不同,显存预算需按最终并行
   策略复核;冲突清单与待确认项齐备。

4.3. Landing Checklist

No.Check itemJudgment standardRequired
1Environment declarationChip model, generation, and software stack declaredYes
2Source levelEvery parameter marked A/B/C with its source natureYes
3Baseline consistencyDense/sparse and precision-format baselines consistent or listed separatelyYes
4Preliminary-spec marking"Preliminary information" qualifier retainedYes
5Conflicting baselines side by sideConflicting baselines shown side by side and marked [To be verified]Conditional
6Memory three itemsWeights, KV Cache, activation measured separatelyYes
7Interconnect budgetParallel-strategy bandwidth requirements compared with chip capabilityYes
8Format support matrixTarget framework and data-format support verifiedYes
9Roadmap baselinePublished baseline vs teaser baseline distinguishedConditional
10Export-control neutralityNeutral phrasing, no unverified clause numbersYes
11Evidence completenessSource, date, baseline, and level all presentYes
12Placeholder cleanupNo non-standard placeholders such as XX, ___Yes

5. Summary

AI chips are the physical foundation of the L2 execution layer in the Harness six-layer model; the transmission to L1 (memory determines context carrying capacity) and to L5 (data formats determine the feasible region of the accuracy–performance tradeoff) are the most direct. Three conclusions:

  1. Roadmaps are planning tools. Both the overseas (Rubin 2026 H2 → Rubin Ultra 2027 H2) and domestic (950PR/950DT → 960 → 970) roadmaps have entered a "one generation per year" cadence; cluster selection must treat delivery cadence as a first-class variable.
  2. Baseline discipline is the foundation of credibility. This direction has the highest density of conflicting baselines (Rubin HBM4 total bandwidth 1400/1580 TB/s side by side, and the risk of mixing measured and published baselines); every number must state its source level and baseline nature.
  3. "System compensates for single points" is the established strategy of the domestic route. The 910C measurement (arXiv 2506.12708) proves that single-chip parameters can be partly compensated through system interconnect and quantization strategies; domestic chips should be evaluated on the "chip + interconnect + framework" system baseline to avoid distortion from single-point comparison.

Information Gap Statement

The following entries have not been confirmed by Level A/B sources and are marked [To be verified] in the body text:

  1. No IEEE/ISO/JEDEC dedicated standard for the AI chip runtime side was found in this direction; HBM, UCIe, UALink etc. are component-level/interconnect standards and must be honestly described as such when writing; standard numbers must not be invented.
  2. Rubin NVL72 HBM4 total bandwidth conflicts between 1,400 TB/s and 1,580 TB/s (both from NVIDIA pages), shown side by side, both marked [To be verified].
  3. No public benchmarks of Rubin versus Blackwell (MLPerf or third-party measurements) were found as of 2026-09-12.
  4. All Ascend 950/960/970 figures are published baselines, with no independently measured MFU/ETTR-type metrics.
  5. IDC shipment data (4 million units total; 812,000 Ascend) are relayed through media; consulting the original IDC report is recommended; the other-domestic-vendors share is a derived figure.
  6. Xinlian Technology's UALink IP (112G in production, 224G taped out) and the Biren ODCC interoperability test are from industry-analysis articles, Level C; each citation needs its source re-verified.
  7. NVIDIA Groq 3 LPX's "35× per-watt inference improvement" is a vendor-claimed baseline.
  8. No public AGENTS.md/SKILL.md standard exemplar for this direction was found; this article is a draft proposal.

6. References

  1. Leading a new paradigm for AI infrastructure with pioneering supernode interconnect technology (Xu Zhijun HC2025 keynote, incl. Ascend roadmap) — Huawei, 2025-09-18. https://www.huawei.com/cn/news/2025/9/hc-xu-keynote-speech
  2. Serving Large Language Models on Huawei CloudMatrix384 — Huawei/SiliconFlow, arXiv 2506.12708, 2025-06. https://arxiv.org/pdf/2506.12708
  3. NVIDIA Vera Rubin NVL72 product page (preliminary specifications) — NVIDIA, 2026-03. https://www.nvidia.com/en-us/data-center/vera-rubin-nvl72/
  4. NVIDIA Vera Rubin Opens Agentic AI Frontier (GTC 2026 press release) — NVIDIA, 2026-03. https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Vera-Rubin-Opens-Agentic-AI-Frontier/
  5. NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems — NVIDIA Developer Blog, 2026-03. https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/
  6. UALink 1.0/2.0 specification releases (2025-04 / 2026-04, multi-source cross-check) — UALink Consortium. https://ualinkconsortium.org/
  7. Research on key supernode technologies and industry development trends — Chinese Society of Thermal Physics (repost), 2025–2026. https://www.zgcsswdx.cn/info/24724.html
  8. Multiple AI Scale-Up Options Emerge (NVLink Fusion/ESUN/UALink boundary analysis) — SemiEngineering. https://semiengineering.com/multiple-ai-scale-up-options-emerge/
  9. 2025 China AI accelerator card shipments (citing IDC) — Sina Finance. https://finance.sina.com.cn/jjxw/2026-09-02/doc-iniqmmyw1388522.shtml
  10. AI Infra (design side, cross-referencing chip specs and domestic landscape) — 02-行业赋能/04-硬件研发组/05-ai-infra.md, 2026-09-12.