解读数据中心供电谷歌48V架构布局

来源: 作者:2017年10月11日 13:43
关键词:48V谷歌cpu

         谷歌在不断优化并精简其数据中心的供电架构,从最早的定制高效率PSU电源,去掉机房级UPS,将UPS搬到服务器主板上,提升供电效率并减少机房级UPS投资及损耗;随着服务器机柜功率不断增加,以及进一步降低能耗,谷歌转而采用了48V供电架构,在这个方向变化过程中,中间还过度有12V中间转换环节的阶段,直到2013年才实现了从电网到48V再到CPU的极致精简架构,去掉了机房级UPS,去掉了机柜级48V到12V的二次转换,并在服务器主板级实现了48V到CPU的单级变换,最后在2015年最后将铅酸电池替换成锂电池,最终实现了最新的48V整机柜架构。

  下图是在OCP峰会上google的48V机柜介绍资料

  解读数据中心供电谷歌48V架构布局

  谷歌48V机柜的布局

  谷歌这个半柜高度48V供电整机柜的几个特点:

  1、采用48V供电POL架构比起传统的12V服务器架构降低了30%以上的能耗,大大降低了全球云数据中心的能耗;

  2、采用了定制的48V供电POL服务器,所有服务器供电均来自整机柜后侧的48V母线排,采用48V母线也可以支撑未来单机柜功率密度增加到50KW以上;

  3、将48V电源插框放到机柜顶部,将48V锂电池房到了机柜底部,估计是担心服务器温度影响电池寿命;

  4、采用了48V供电的TOR交换机,由两个较小的48V电源给交换机供电,其实可以不用单独配置;

  5、POL服务器采用了混搭的方式,部分可能为CPU节点,GPU节点,或者存储节点等任何配置;

  6、2U不到高度的PSU插框里边有8个48V的插槽,安装了6个PSU电源模块,考虑5用1备以及UPS充电功率,参考行业典型的3KW高效率电源模块,估计半机柜负荷大约在12到14KW的峰值功率,整个机柜的话两套UPS的功率将翻倍。

  7、48V的UPS电池也是模块化设计,可以根据IT功率以及备电时间来选择需要的模块电池数量,上图目视满配可以支持多达10个电池包。

  8、谷歌已经大规模使用这个技术好几年了,技术上非常成熟,效率很高,成本也得到很大降低。

  解读数据中心供电谷歌48V架构布局

  谷歌贡献给OCP的48V供电机柜

  谷歌贡献给OCP的48V机柜的几个特点:

  1、21英寸的内宽,可以支持各种类型的服务器,但可能在机柜深度方面比通用OCP的柜子更短,以便在数据中心内可以安装更多机柜列;

  2、可以安装在各种类型的数据中心内,满足各种用户和部署在全球各地的数据中心内使用;

  3、冷通道维护,前面两侧可安装网线,或者可选的48V直流PDU;

  4、48V UPS插框安装在机柜的中部,大约2U的高度为电源空间(不含电池),配置6个PSU模块,如果采用3KW的典型48V电源模块,则可以支撑最大15KW的机柜功率。

  5、由于采用了机柜内的UPS架构,机房级直接采用市电直供,由机柜顶部的母线排直接给整机柜供电,即插即用,供电架构非常简单和扁平,效率和成本较优。

  6、如果其他用户的服务器仍然采用12V输入的主板,那也可以通过在这个48V机柜内增加一个48V转12V的DCDC变换器来满足原有12V输入服务器。

  7、目前谷歌已经和facebook对这个新的机柜和48V UPS技术准备一个新的规格提交给OCP审批,给行业增加更多的选择。

  前面简单分析了该48V整机柜的特点,该整机柜自带48V锂电池BBU,不再需要机房级的UPS,配电结构非常精简,可以大大减低投资和系统能耗,下面我们做个48V整机柜架构和传统UPS供电架构的简单能效对比。

  采用传统的UPS供电架构,每台服务器自带PSU电源的传统系统如下图,从电网到12V服务器主板,大约有22%的能耗被浪费了,传统UPS架构下即便采用目前高效率的供电系统,市电到服务器的12V主板也会有6.4%的能耗浪费。

  解读数据中心供电谷歌48V架构布局

  传统UPS供电架构下的供电能效

  而采用谷歌推荐的48V整机柜供电架构,不再需要UPS和复杂变配电单元,市电直接给到整机柜来供电,市电到服务器主板的典型损耗为7%,目前业界领先水平可以控制在4%以内的损耗。

  解读数据中心供电谷歌48V架构布局

  传统48V整机柜供电架构下的供电能效

  因此两者对比下来,采用市电直供48V整机柜带BBU电池包的供电架构比采用传统UPS带12V PSU的机架式服务器供电架构,从电网到服务器主板典型的系统能节能量为15%。

  我们再看服务器主板到CPU的供电路径上,采用12V主板和48V主板能耗的对比,这里以数据中心所采用的典型Vicor公司产品为例来计算,分别比较机柜级PSU整流模块效率、12V和48V方案在服务器主板上的传输损耗,以及12V或者48V到CPU、RAM等的降压POL电源的综合效率。从AC-DC电源的输出端经过连接器,传输路径,再经过转换最后输送到处理器。对整体效率来说,传输路径上的损耗也不容忽视。下图是从AC到CPU的全路径状况。

  

解读数据中心供电谷歌48V架构布局

  下图为google在OCP峰会上发布的效率对比。特别指出,在采用48V的供电架构,路径上的损耗将更进一步减少。

  

解读数据中心供电谷歌48V架构布局

  从上表的参数我们可以计算得到,采用48V供电的总体损耗为7.9%,而采用12V传统架构的损耗为10.7%. 损耗减少超过30%。

  Vicor的48V架构称为FPA(Factorized Power Architecture),由两个部分构成。前端为采用升降压拓扑结构的预稳压模块(PRM),提供稳定的Vf母线电压,输出电压会根据负载的变化快速响应。后端为采用专利正弦幅值变换器(Sine amplitude converter)的电压变压模块(VTM),将Vf母线电压转换到负载点电压,其工作特性为理想变压器,可以将能量存储在高压侧电容,从而极大减少负载点的大电容。VTM采用零电压、零电流的软开关技术,工作频率高达2MHz以上,具有领先的功率密度,Intel实验室的测试表明,其噪声比传统的12V VR低一个数量级,因此可以放置在非常靠近CPU的地方,进一步减少电源输出端到CPU电源引脚间的功率损耗。

  

解读数据中心供电谷歌48V架构布局

  

解读数据中心供电谷歌48V架构布局

  采用AC-12V-1V的方案不管是PSU整流模块的效率,还是服务器主板上的传输损耗,以及降压POL电源的效率都低于采用AC-48V-1V的供电架构,采用12V母线架构下12KW整机柜仅在传输损耗上就达到了440W,占了将近4%的能耗。12KW的机柜在12V输出下电流高达1000A,因此即便1毫欧的传输阻抗都会带来1KW的能耗(当然也可以通过采用更大尺寸的铜排来降低传输阻抗,但会带来更大的体积以及更高的成本),而同样的负载功率下采用48V供电架构,电压提升了4倍,电流降低为原来的四分之一,传输损耗得到很大降低。

  下图可以看到传统的方案和Vicor FPA方案的一些简单对比情况。

  

解读数据中心供电谷歌48V架构布局

  因此对于大功率的整机柜,如果仍采用12V的中间母线架构,会带来很大的传输损耗,如果单机柜功率在8KW以内,损耗的问题还不太明显,但如果机柜功率达到了12KW以上,这个传输损耗问题就会变得比较严重,而48V母线架构可以支持单机柜功率高达30KW以上,具有很好的未来扩展性并大大降低了传输损耗。

  

解读数据中心供电谷歌48V架构布局

  随着高性能计算,以及GPU等应用发展,未来的服务器功耗将不断增加,如果单机柜功率在10KW以下,12V母线还能勉强应对,但随着机柜功率的不断增加,12V母线带来的损耗,以及压降将成为难以承受之重,因此未来机柜内母线电压一定会往48V方向发展,特别是在HPC等高性能计算场合。

  随着谷歌公司宣布加入OCP,并且将其48V贡献给OCP的消息一经发布,马上有知名芯片厂商宣布对48V到POL负载点的支持,并且发布相应的芯片。这一消息已经极大促进了48V产业链的生态完整,表明在数据中心供电架构上在稳步朝着48V的方向前进。 我们已经看到有国内服务器厂商已经推出了关于48V直流输入的服务器验证机,相信随着谷歌加入OCP促进这个产业生态的发展,将来会有越来越多的服务器及网络设备等支持48V的整机柜生态。

  最后,我们将有可能在数据通讯领域看到如下的电源发展趋势。

  

解读数据中心供电谷歌48V架构布局

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
声明:电子发烧友网转载作品均尽可能注明出处,该作品所有人的一切权利均不因本站而转移。
作者如不同意转载,既请通知本站予以删除或改正。转载的作品可能在标题或内容上或许有所改动。
收藏 人收藏
分享:

推荐阅读

发表评论

elecfans网友

分享到:

用户评论(0