AI芯片

推理预填充属于并行工作负载，要求大算力和适中的内存带宽；推理解码本质上是串行的，算力需求较小但内存带宽要求高。组合使用能发挥两款 AI 芯片各自的长处。

多家科技巨头加速部署 AI ASIC，以图降低对 GPU 依赖、提升 AI 负载运行效率。

JetCool 开发了一种单相芯片级 DLC 解决方案，可支持下代 AI XPU 的 4 W/mm² 发热密度与数千瓦总功耗。

VSORA Jotunn8 在 FP8 精度下算力可达 3200TFLOPS（稠密），配备 288GB HBM3E 内存，功率仅有市场领先芯片的一半。

Positron 表示 Asimov 在设计上就是以内存优先，拥有 90% 的内存带宽利用率，并从结构上消除不必要的远程数据移动。

DX-M2 芯片目标以 5W 提供 80 TOPS 的 AI 算力。该企业的长期愿景是在电池供电的设备上本地运行数百亿到数千亿参数规模的生成式 AI 模型。

该 SoC 具有高集成度，能帮助客户降低 39% 的 BOM 成本、缩短 67% 的开发周期。

MatX 的 MatX One 芯片据称可实现业界领先的 LLM 吞吐量和与 SRAM 优先芯片相当的延迟表现

由于台积电 CoWoS 扩产能力有限，可供替代的其它 2.5D 异构集成技术越来越受到市场参与者重视。

在 AI 芯片供应紧张的背景下，公司正与其他科技巨头一样，开始考虑通过自研硬件增强算力掌控能力。