官网讯——
【英伟达Groq 3 LPX机架全面投产,英伟业化低延迟推理商业化提速】
(1) 英伟达宣布其Groq 3 LPX机架已全面投入生产,达G低延这标志着其最大收购(200亿美元收购Groq资产)在技术上的机架商业化实现。该机架将与Vera CPU和Rubin GPU搭配,全面用于云服务提供商,投产提速计划于今年晚些时候上线。迟推
(2) Groq 3芯片在LPX机架中封装了256颗,理商能够实现每秒处理3400个令牌。英伟业化这项技术专注于低延迟推理,达G低延这对AI代理的机架响应速度至关重要,特别是全面在编程应用中。英伟达表示,投产提速云服务商可以为此类令牌收取更高的迟推费用,进而解锁更高级别的理商服务协议。
(3) 该领域竞争十分激烈,英伟业化AMD与Cerebras紧密合作以专注于低延迟推理,同时OpenAI的新“超高速模式”也得到了Cerebras的支持。但需注意的是,低延迟芯片并不打算取代GPU,而是优化模型推理的特定阶段。黄仁勋预计,从Blackwell到Vera Rubin系统,到2027年累计销售额将达到1万亿美元,并计划将其数据中心中编程应用的四分之一空间分配给Groq芯片。英伟达将于周三发布财报。