英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

日期:04-10
英特尔AI内存

感谢IT之家网友航空先生的线索投递!

IT之家4月9日消息,在今晚的Vision2024活动中,英特尔发布了新一代Gaudi3AI芯片,并将于2024年第三季度通过OEM系统大批量上市。

据介绍,新款Gaudi3与英伟达H100相比训练性能提高了170%,推理能力提高了50%,效率提高了40%,但成本却低得多(IT之家注:H100已经是英伟达上一代产品,英特尔并未与最新的Blackwell系列产品进行对比)。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

此外,英特尔还为其数据中心CPU产品组合推出了全新品牌命名:原代号为GraniteRapids和SierraForest的芯片现在将被称为“Xeon6”系列。这些芯片计划于今年上市,并将支持全新性能提升的标准化MXFP4数据格式。

英特尔同时宣布正在开发用于以太网网络的AINICASIC以及AINIC小芯片。这些小芯片将用于其未来XPU和Guadi3处理器,并将通过英特尔代工厂提供给外部客户,不过英特尔并未透露更多关于这些网络产品的细节。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔全新Gaudi3AI加速器采用5nm工艺打造,FP8性能是上一代产品的两倍,BF16性能是上一代产品的四倍,网络带宽是上一代产品的2倍,内存带宽是上一代产品的1.5倍,并提供Mezz卡、板载和PCIe三种形态。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

Gaudi3提供64个第五代张量处理核心和8个矩阵计算引擎,并搭载128GB速率达3.7TB/s的HBM内存和96MB速率达12.8TB/s的SRAM。连接方面支持24条的200GbE符合RoCE标准的以太网总线以及最高16条PCIe5.0总线。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

板载版本Gaudi3型号为HLB-325,由八颗Gaudi3Mezz卡组成,提供14.6PFLOPSFP8性能,1TB带宽速率达29.6TB/s的HBM2e内存,64个线性计算引擎,192条200GbE网络总线,9.6TB/s吞吐能力。

PCIe版本型号为HL-338,提供单卡1835TFLOPSFP8峰值性能,128GBHBM2e内存,8个线性计算引擎,24条200GbE网络总线,600WTDP,整张卡占据两卡槽高度。

Gaudi3单个节点(8个Gaudi3AI加速器)可以提供14.7PFFP8计算性能,128GB内存及8.4TB/s网络读写速度;64节点集群(512个Gaudi3AI加速器)提供940PFFP8计算性能,65.5TB内存及76.8TB/s的网络读写能力;512节点集群(4096个Gaudi3AI加速器)提供7.52EFFP8计算性能,525.3TB内存及614TB/s网络读写速度;1024节点集群(8192个Gaudi3加速器)则提供15EFFP8计算性能,1PB内存及1.229PB/s网络读写能力。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

具体来看,英特尔Gaudi3与主要的竞品英伟达H100在相同节点数量下,相关大模型训练时间对比上至高有1.7倍优势,其中,LLAMA270亿参数对比有1.5倍于H100的优势,LLAMA2130亿参数最高有1.7倍的优势,GPT31750亿参数有1.4倍优势。推理速度和能效表现上,Gaudi3相比于H100也有较大幅度提升。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

软件生态方面,英特尔Gaudi3针对生成式AI提供端到端全栈AI软件解决方案,包括嵌入式软件、软件套件、AI软件、AI应用。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

通过Gaudi3可以支持基于还支持多模态、大语言模型、增强检索生成核心能力的3D生成、文本生成、视频图片生成、内容总结、翻译、问答、分级等常见AI功能。依靠丰富的AI软件生态,Gaudi3也支持常见的AI框架库、使用场景和工具,并对有代表性的模型进行支持。英特尔还提供Gaudi软件套件,提供对底层硬件的支持。

英特尔在Vision2024上也公布了Gaudi3生产节点,2024年一季度将率先推出风冷版样品,二季度推出液冷版样品,并在今年第三、第四季度分别批量交付风冷版和液冷版。Gaudi3将由戴尔、惠与、联想和超微四家OEM提供。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

在此基础上,英特尔也宣布Gaudi3今年下半年可在英特尔DeveloperCloud获得。除了英特尔Gaudi3加速器之外,英特尔还提供了关于其在企业AI各个领域的下一代产品和服务的更新。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

全新英特尔Xeon6处理器作为英特尔全新品牌首次亮相,它主要针对生成式AI计算,Xeon6处理器包含高效核心E-core和性能核心P-core。Xeon6E-core代号SierraForest,相比第二代英特尔Xeon处理器,性能每瓦提高2.4倍,并且机架密度提高2.7倍。对于英特尔的客户而言,可以以接近3比1的比例替换老旧系统,大幅降低能耗,推动实现可持续发展目标。Xeon6P-core,代号GraniteRapids,支持MXFP4。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

PC、边缘端和连接方面,英特尔酷睿Ultra处理器AIPC产品作为生产力、安全性和内容创作的工具,预计今年将发货4000万台AIPC。除此之外,英特尔宣布了一系列新的边缘芯片,涵盖了英特尔酷睿Ultra、英特尔酷睿、英特尔凌动处理器和英特尔ArcGPU,目标市场包括零售、工业制造和医疗保健。这些新品将在本季度推出。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

另外,英特尔计划与UltraEthernetConsortium合作推出AI以太网解决方案,解决庞大数据量下AI大模型网络问题。这一产品计划将在2026年推出。

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

英特尔发布 Gaudi 3 AI 芯片:性能超越英伟达 H100,第三季度上市

降价策略奏效:美造车新势力 Lucid 今年 Q1 交付新车 1967 辆,创历史新高 网易互娱运营中心已成立暴雪国服团队,去年底双方已多次接触
相关阅读: