AI芯片

推理预填充属于并行工作负载，要求大算力和适中的内存带宽；推理解码本质上是串行的，算力需求较小但内存带宽要求高。组合使用能发挥两款 AI 芯片各自的长处。

短期内 RNGD 将从初版的 48GB HBM3 升级到 72GB HBM3E，从内存侧增强推理性能。而迭代产品将于 2028 年面世。

Rebellions 在此之前已向韩国国内的两大科技企业 KT Cloud 和 SKT 供应 ATOM 和 ATOM Max 芯片，还完成了对 Meta 的芯片出样。

Google Cloud 近期发布了 2 款第八代 TPU 新品，分别是侧重训练的 TPU 8t 和聚焦推理的 TPU 8i。

DX-H1 集成了多通道引擎和专用 NPU 架构，可在单芯片上处理输入、预处理、AI 推理、重编码的整个流程。

TPU 8t 设计具备更高的计算吞吐量和更强的纵向扩展带宽；TPU 8i 则专为处理对延迟最为敏感的推理工作负载而设计。

AI6 芯片配备 LPDDR6 内存，在与 AI5 相似的面积内提供 2 倍性能；AI6.5 的性能将进一步提升。

在 AI 芯片供应紧张的背景下，公司正与其他科技巨头一样，开始考虑通过自研硬件增强算力掌控能力。

由于台积电 CoWoS 扩产能力有限，可供替代的其它 2.5D 异构集成技术越来越受到市场参与者重视。

Meta 在 MTIA 系列 AI XPU 上追求尖端制程旨在弥补自身后发劣势，加速追赶谷歌、英伟达、AMD 等竞争对手。