半宽机箱里的HyperScale:天蝎、OCP们来看看吧

唐僧0929 2018-02-16

架构 服务器 express 主机 CPU 带宽

无意中发现了一款比较有特色的硬件在网上查阅资料费了好大劲才算基本搞清楚。说高密度吧计算可能不是最强说高可扩展性吧网络I/O带宽并不惊人。然而我却在其中看到了RSDRack Scale Design资源池化的影子也算是补充了自己知识的空白吧。

 

Artesyn MaxCore Hyperscale平台

 

0?wx_fmt=jpeg


这款设备的名字叫做MaxCore Hyperscale超大规模平台——适用于DellDSS 9000的机架式高密度计算和媒体平台也可用于OCP环境。它来自Artesyn雅特生一家专业做嵌入式计算和嵌入式电源的公司之前我也不熟悉。

 

具体点说就是可用于DSS 9000整机架服务器中的一个半宽子机箱DSS 9050 sub-chassis里支持最多288Xeon D CPU内核全宽2个节点就是576 Core100Gb输入输出还支持各种用于媒体转码和优化的PCIe加速卡。内建PCI ExpressFabric架构完整的SDN/NFV 数据包转发和虚拟化支持。

 

0?wx_fmt=jpeg


单论计算密度的话以上图中的2U PowerEdge FX2平台为例配置8FC430双路Xeon E5服务器节点虽然也能支持288个核心但E5的主频要比Xeon D高不少。如果只是纯CPU计算的HPC集群我想MaxCore Hyperscale估计不划算这种不太标准化的设备销量有限估计不便宜。显然它还有别的长处。

 

0?wx_fmt=jpeg

Dell DSS 9000机架我在《RSA整机架服务器DSS 9000现身数博会》一文中写过实物解析

 

 

0?wx_fmt=jpeg


上图就是两台MaxCore Hyperscale并排放在一起我感觉应该是3U的高度。下面来看看它的规格概要

 

MaxCore Hyperscale

设计用于戴尔 DSS 9000 机架架构

灵活的可配置型 PCIe 交换半标准宽度托架可容纳多达九 (9) PCIe

每插槽最高 150W

2x 10G 接口支持 SR-IOV所有插槽中的所有卡之间均可共用

4x 2.5”驱动盘位和 14x M.2 SSD 插槽

SharpServer 英特尔 Xeon D 微服务器卡

SharpSwitch 100G 智能 NIC具备vSwitch 卸荷功能

可选配媒体转码加速器

 

首先在一个半宽机箱中可以插9PCIe不是普通的卡哦6PCIe Gen3x16 3Gen3 x8之间通过PCIe交换互连。210Gb以太网口通过SR-IOV在所有插槽的PCIe卡之间共用这只是基本网络。

 

2个热插拔托架上的42.5英寸SATA驱动器位用于机箱中PCIe插槽19的主机最14M.2 228080mm尺寸SSD插槽直接访问PCIe插槽2-8的主机。有点意思吧

 

3种“PCIe插卡”SharpServerIntel Xeon DCPU服务器子卡SharpSwitch不是个普通的双100Gb端口网卡从名字可以看出它带有交换功能另外还可以选配一种SharpStreamer媒体转码加速器。

 

Xeon D微服务器计算子卡

 

0?wx_fmt=jpeg

不难看出2Xeon D SoC和对应内存的分布位置。连接“底板”的金手指左边是一个PCIe x16右边的不太标准具体用途后面我再解释。

 

SharpServer™ PCIE-7410

MaxCore™ 服务器卡

Intel® Xeon® D 处理器卡适用于高密度微服务器应用

标准高度、标准长度的 PCI Express 外形尺寸单插槽

一个或两个 8 核英特尔 Xeon D-1541 处理器

每个处理器最大支持 64GB DDR4 内存

多达 4 PCI Express Gen3 x4 接口

每个处理器均支持本地闪存大容量存储

2x 1Gbps 以太网可选配内部以太网基础架构

每个处理器配备 USB、重置按钮和 COM端口

软件支持包括

Linux KVM

Intel® DPDK

多主机 PCI Express 输入/输出虚拟化

 

上面引用的中文资料可能有点老写的还是8Xeon D处理器要满配216CPU才能达到前面所说的半宽机箱288核密度。Xeon D的好处是SoC不用加PCH芯片但不支持多处理器所以一块SharpServer PCIE-7410上就是2个节点前面提到的M.2 SSD正好每节点1个。

 

4PCIe Gen3 x4应该是合并在物理x16的金手指上如果SharpServer插在x16插槽里每个Xeon DCPU分到2PCIe x4要是在x8插槽里工作每个CPU就只有1PCIe x4了。

 

暂时先介绍这么多互连啥的后面还会讲。

 

PCIeto100Gb智能交换网卡

 

0?wx_fmt=jpeg

这块卡上可以看出2颗不同的处理器还有金属挡片上2QSFP高速网络接口。

 

SharpSwitch™ PCIE-9205

MaxCore 智能网络接口卡

适用于高带宽应用的高性能 输入/输出卡

标准高度、标准长度的 PCI Express 外形尺寸单插槽

Intel® 以太网多主机控制器 FM10840配备

2x QSFP28 实现最高 200Gbps 的输入/输出带宽

PCIe 3x16 ~ 100GE 聚合系统带宽

软件支持包括

L2/3 交换

负载均衡

虚拟交换机

通过 Open vSwitch OVSDB 实现OpenFlow

基于 LBaaS 代理和 DPDK OpenStack

软件

Intel® Xeon® D-1541 处理器

最大 64GB DDR4

PCI Express Gen3 x8 接口连接到FM10840 交换机

 

SharpSwitch PCIE-9205的作用是SharpServer之间的高速网络交换并对外提供2100Gb以太网口也会占用1PCIe插槽。它的主芯片缺不是常规网卡用的下面先看看“以太网多主机控制器FM10840”的特点

 

0?wx_fmt=jpeg


Intel Ethernet Multi-host Controller FM10000家族我多少有点印象在前几年的IDF上好像介绍过。用途大概和RSDRack Scale Design整机架资源池化的互连有关。

 

SharpSwitch卡上似乎还不能充分发挥FM10840的规格。我理解在MaxCore Hyperscale机箱里它应该插在PCIe插槽19并且是PCIe x16规格。提供4PCIeendpoint以太网控制器连接到SharpServer最多64VF另外2PCIe endpoints面向卡上本地的一颗Xeon-D CPU——用于MaxCore系统管理

 

对内一共PCIe Gen3 x16提供相当于100GbE12.5GB/s单向带宽应该ok对外可以是2100Gb以太网也可以向下兼容40Gb或者通过转接线分出825Gb / 810Gb端口

 

0?wx_fmt=jpeg


本文中介绍的Artesyn就是将Intel FM10000用于多主机模块化服务器平台

 

0?wx_fmt=jpeg


网络和SDN我比较外行OpenStack也了解有限。上图一方面给大家参考另一方面也是想说明“基于PCIe的网络通信PEX-VF估计是用于虚拟机的网卡吧。

 

利用Intel GT4e集成显卡转码/编码视频

 

0?wx_fmt=jpeg

左上方的短卡带有1Xeon E3-1578Lv5 CPU长卡则是2

 

SharpStreamer™ Pro PCIE-7210

高密度视频处理加速器

H.264/AVC H.265/HEVC 转码和编码、VDI 应用和图像处理设备等应用的理想选择

标准高度、半标准长度或标准长度的 PCI Express 外形尺寸

每张卡多达 4 HD HEVC 转码流

每张卡多达两 (2) 4KP30 HEVC 编码流

1x 2x IntelXeonE3-1578L v5 GT4e 可扩展视频处理引擎

每个 CPU 配备 PCI Express Gen3 x8 接口

 

看完了服务器和网络子卡再来看看SharpStreamer Pro PCIE-7210它的主要用途就是视频转码和编码和我之前在《一块卡上有3Xeon这是干啥用的》一文里介绍的IntelVisual Compute AcceleratorVCA是干同样事情的。

 

PCIE-7210上使用的CPU已经是新一代的Skylake——Xeon E3-1578L v5而其视频处理引擎是靠集成的GT4e显卡Intel Iris ProGraphics P580VCA上面GT3e的下一代产品同样128MB eDRAM。它们能够提供的功能是普通集成显卡和《Xeon核显遇上3ds MaxSolidworksT30评测之二》中介绍过的入门级工作站显卡HD Graphic P530所不具备的。

 

具体到性能指标每张卡可以实时转码4HD HEVC高清视频流或者编码24KP30 HEVC。注意这里可是实时处理哦4K分辨率逐行、每秒30帧。

 

0?wx_fmt=jpeg


这个架构图帮我了解很多。与Xeon D SoC不同为了Xeon E3需要搭配PCH此外一块SharpStreamer上的2套子系统还各自添加Intel 82599网卡实现内部通信。这里可以看到两段金手指的定义了——First Edge是来自两颗CPUPCIe x8Second Edge则包括了PCH引出的4SATA2USBPCIe 3.0 x1LPC

 

SharpStreamer加速卡是做为一个特殊的PCIe设备连接到SharpServer子卡。

 

0?wx_fmt=jpeg


关于视频转码应用方案我借用了MaxCore平台中另一款3000机型的资料。

 

MaxCore架构与硅光互连的思考

 

0?wx_fmt=jpeg

全宽机箱的MaxCore 3000支持15PCIe子卡模块

 

由于MaxCore Hyperscale的资料有限我再引用一些MaxCore 3000的资料做为辅助说明。

 

0?wx_fmt=jpeg


MaxCore 3000的底板上中间两颗最大的芯片就是PCIe Switch

 

0?wx_fmt=jpeg


MaxCore 3000有上面这种配置方式11PCIe 7410计算子卡+4RRCSharpSwitch PCIE-9205网络子卡SharpSwitch经由PCI ExpressFabric交换架构将网卡映射给SharpServer可以SR-IOV的形式“直通”给虚拟机。

 

0?wx_fmt=jpeg

上图引用自OCP资料中的Intel草案文档《DesignGuide for Photonic Architecture》也就是有段宣传比较多的“硅光互连”我曾经把它和Omni-Path搞混过。其中的Switch应该就有Intel FM10000系列种种因素导致它未能在RSD整机架服务器中普及而这次却出现在了MaxCore机箱内部。

 

我还班门弄斧写过两篇《IDF随笔RSA|天蝎存储池化的理想与现实》、《ODCC随笔整机柜资源池化需要高可用吗》朋友们给出的结论是一个PCIe Fabric覆盖的故障域内允许单点故障。不过在机架范围内PCIe用于箱外连接其数量和长度还是可能影响可用性。相比之下Artesyn MaxCore的机箱内PCI ExpressFabric我觉得倒是一种不错的应用。

 

0?wx_fmt=jpeg

主要针对互联网/云服务商的Dell DSS9000样机

 

最后再简单聊下MaxCore HyperscaleDell之间的关系会不会是某一家大客户在DSS 9000整机架服务器上产生了相关需求从而促成该产品出现呢

登录 后评论
下一篇
弹性计算秉林
42人浏览
2020-07-08
相关推荐
0
0
0
1845