第五代Xeon与第四代最大热设计功耗（TDP）同为350瓦。不过，英特尔表示，第五代每瓦性能较前一代高出36%，同时还进一步优化低CPU利用率（小于50%）时能耗，伺服器CPU常在20%至50%的低利用率运行。这个利用率范围中，第五代耗电不仅较第四代低，在打开能源优化模式后，更能在利用率为30%的状态下达到比预设模式省110瓦的节能幅度。英特尔强调，此代CPU有几项规格升级尤其有利于执行AI推论任务。例如记忆体频宽和LLC容量增加，以及支援CXL 1.1 Type 3记忆体扩展，对于要求高记忆体频宽的推论任务都有帮助。 AI推论任务注重时效性，因此降低运算延迟也相当重要。英特尔执行副总裁暨数据中心与AI业务群总经理Sandra Rivera表示，AI崛起是继云计算崛起之后第二波算力需求暴增。如今，AI从学术研究和概念验证开始落地，成为真正可带来商业价值的技术，会为企业创造更多算力需求。但凡金融、医疗、零售及制造，都是他们看到已经大规模应用AI的垂直产业。 Sandra Rivera表示，在AI算力市场中，有足够资源和能力训练大型AI模型的企业非常少，大部分AI用户都是在做边缘推论、模型微调，或是根据自有数据训练特定用途小型模式。专家们预估AI推论市场增长幅度会是训练市场两倍，尤其是于边缘执行推论。企业边缘推论需求来自于降低延迟、控制成本及能耗，以及确保资料隐私性。这个需求崛起，会促使云地混合AI（Hybrid AI）模式成为主流，也就是将AI运算任务分散于云计算及地端，成为AI“无处不在”的现象◆
