64核+高内存带宽！英特尔发布第五代至强服务器，加速AI原生应用落地

12月15日下午，在2023年英特尔新品发布会上，英特尔正式揭开了第五代至强可扩展处理器（代号Emerald Rapids）的神秘面纱。在会上，英特尔的合作伙伴京东云、阿里云和火山引擎也分享了其自身使用第五代至强开发新品服务器和大模型训练的案例。

这款产品是英特尔最强AI性能的CPU，采用了Intel7工艺，该处理器拥有多达64 核，具备8 条 DDR5 通道，支持高达5,600 MT/s的传输速率，三级缓存是上一代产品的近 3 倍，且采用英特尔超级通道互联2.0 以增加跨插槽内带宽，提供高达20 GT/s的传输。
据悉，第五代至强可扩展处理器比较上一代产品，可以处理更多的AI工作负载，其迭代性能相较于上一代产品提升了21%，而在AI推理性能上，则拥有高达42%的提升，其内存带宽也提升了16%。

相较上一代产品，第五代英特尔至强可扩展处理器可在进行通用计算时将整体性能提升高达21%，并在一系列客户工作负载中将每瓦性能提升高达36%。对于遵循典型的五年更新周期并从更前一代处理器进行升级的客户而言，总体拥有成本最多降低77%。

京东云服务器搭载第五代至强，整机提升123%，大模型推理能力提升51%！

京东科技京东云事业部硬件架构总监董可新表示，基于英特尔新一代处理器的京东云自研服务器全面支持京东双十一大促。评测结果显示，新一代至强可扩展服务器平台比上一代整体提升了23%，一方面得益于新一代处理器更高的内存频率，以及更大的L3 Cache等新的技术特性，另一方面得益于我们在和英特尔联合定制的新一代CPU中，针对京东各个业务场景的性能需求进行了针对性的性能优化。

在AI应用方面，京东云服务器在通用的AI视觉类模型ResNet50推理性能测试中，比上一代平台整体性能提升了38%。在通用的大语言模型Llama2-13B模型推理性能测试中，与上一代相比，提升高达51%，拥有出色的整体优化效果。

在刚刚过去的双十一中，京东商城上超过60个品牌的营销额突破了10亿。在大促期间，每秒用户访问峰值同比提升了170%，京东智能客服为超过14亿次的用户提供了累计智能咨询的服务。他指出，特别在智能营销方面，京东实现了能够根据产业洞察及带货思维进行服务的数字人，以及其他成本降低达90%的生成式AI应用。

英特尔和多家合作伙伴打造第五代Xeon生态合作圈

数据中心与人工智能集团副总裁兼中国区总经理陈葆立介绍了英特尔和百度云合作的最新成果。在针对大规模推理的早期测试，双方使用700亿参数的Llama 2开源大模型进行推理，采用了4台内含第五代至强的服务器，并通过100G的高速网络联合在一起。结果是，相比单台的服务器，其性能提升了2.85倍。从整个性能上看，在处理Llama 2 700亿模型推理时，时间可以控制在87毫秒以内。

阿里云则展示了基于英特尔第五代至强可扩展处理器，推出新一代云实例。基于英特尔第五代至强芯片，阿里云第八代计算实例迎来了全面的计算升级。英特尔CPU在L3 Cache的3倍性能提升和内存带宽16%的提升，在媒体处理、网站应用和AI应用等场景性能提升20%以上。

通义千问720亿大模型近期在开源社区Hugging Face大模型排行榜上问鼎。阿里云非常重视云上用户的数据安全，结合英特尔TDX技术，阿里云第八代机密计算实例可以保障用户在整个AI推理过程中，模型和数据全流程的数据安全。用户可以在英特尔AMX技术的加持下，在阿里云第八代实例上轻松部署通义千问。

陈葆立总结说：“以ChatGPT为例的生成式人工智能带来了一个全新的火爆趋势。我们看到非常多的中国本土企业，包括众多软、硬件公司正在加速推进AI在各行各业的应用和落地。目前在国内，已有超过20家的硬件伙伴，超过7家云服务商基于第五代英特尔至强可扩展处理器，准备好了全新的服务器和云服务。对中国的终端用户来说，无论是对类型、规模以及应用有着如何多样化的需求，都将拥有丰富的选择。英特尔可靠的产业伙伴们，将会为用户提供全面的产品以及服务。”