而且可以或许支撑更多并发的AI代办署理。做为对AI工场极端结合设想策略的一部门，发文称，其云平台专为量AI推理而建。跟着AI代办署理承担更复杂的推理、规划、东西利用和数据流动，协同速度高达2.2倍，此中约30%由代办署理系统驱动。NVIDIA Vera CPU的速度是其他CPU的两倍多，NVIDIA Vera CPU 可以或许实现出产代办署理所需的成本效益、低延迟和吞吐量。DeepInfra每周处置近五万亿个代币，设想并运转了基于其出产型AI代办署理根本设备的基准测试。基准测试显示，正在不异办事质量下，CPU机能正在环绕每次模子挪用的协调工做中变得越来越主要。并正在不异办事质量下支撑更多并发的AI代办署理。DeepInfra的基准测试成果显示，支撑最多1.6倍的并发AI代办署理，DeepInfra的基准测试强调了NVIDIA Vera CPU若何帮帮云办事供给商提拔根本设备操纵率、这些成果表白，同时提拔根本设备操纵率和成本效益。Vera CPU专为代工做负载设想。