AI 推理性能大提升：华为 UCM 技术开源，系统吞吐猛增 22 倍
UCM 以 KV Cache 多级缓存和推理记忆管理为中心，通过推理框架、算力、存储的三层协同，宣称可破解长序列推理效率低、成本高的难题，为企业提供更优的 AI 推理体验。
排序
英特尔联手 SambaNova 推出异构 AI 推理硬件解决方案，结合三种处理器
其结合了用于预填充的 GPU、用于解码的 SambaNova SN50 RDU、用于主机头节点和“动作”的英特尔至强 Xeon 6 处理器，为推理负载的每个步骤选用最合适的硬件。