InfiniBand 技术及其在 Linux 系统中的配置简介
简介：随着服务器处理速度的不断加快，用户对提升网络传输速度的需求也越来越紧迫，传统意义上的输入 / 输出技术，如 PCI、以太等，已经无法满足这种需求。如何更为有效的提高数据传输速度，增加有效带宽成为摆在人们面前必须解决的一个重大问题。 InfiniBand 标准就是在这种情况下应运而生的，它在很大程度上解决了传统输入 / 输出架构的传输瓶颈问题 , 运行速度可达到每端口 2.5Gb/s 或 10Gb/s 。目前，这项技术已经广泛应用到高性能计算等领域，Linux 操作系统内核也对其提供了全面的支持，本文将逐一介绍 InfiniBand 技术架构，以及如何在 Red Hat Enterprise Linux 5.3 和 SLES11 系统中配置 InfiniBand 网络设备，包括网卡驱动的安装以及 IPoIB（IP over InfiniBand）接口配置。
前言
随着服务器处理速度的不断加快，用户对提升网络传输速度的需求也越来越紧迫，传统意义上的输入 / 输出技术，如PCI、以太等，已经无法满足这种需求。如何更为有效的提高数据传输速度，增加有效带宽成为摆在人们面前必须解决的一个重大问题。 InfiniBand 标准就是在这种情况下应运而生的，它在很大程度上解决了传统输入 / 输出架构的传输瓶颈问题 , 运行速度可达到每端口 2.5Gb/s 或 10Gb/s 。
目前，这项技术已经广泛应用到高性能计算等领域，Linux 操作系统内核也对其提供了全面的支持，本文将逐一介绍 InfiniBand 技术架构，以及如何在 Red Hat Enterprise Linux 5.3 和 SLES11 系统中配置 InfiniBand 网络设备，包括网卡驱动的安装以及IPoIB（IP over InfiniBand）接口配置。
InfiniBand 技术架构简介
InfiniBand 是一种基于交换的串行 I/O 互连体系结构，运行速度为每方向 2.5Gb/s 或 10Gb/s（每端口）。和共享总线结构不同，InfiniBand 是一个针数很少的串行结构，可连接印刷电路板（PCB – Printed circuit board）上的设备，并支持箱外带宽（Bandwidth Out of the Box）。使用普通的双绞铜线，InfiniBand 支持的连接距离为 17m ；而如果使用光缆，其支持的距离则可达数公里甚至更远。此外，InfiniBand 还支持 QoS 和 RAS 。 RAS 特性在设计之初就被融入了 InfiniBand 的体系结构，这些特性对于 InfiniBand 有能力成为位于 Internet 核心的下一代服务器和存储系统的通用 I/O 基础架构具有非常重要的意义。 InfiniBand终将从根本上改变系统和 Internet 互连体系，并促成一场伟大的技术变革。
也正因如此，InfiniBand 系统网络（如图一所示）受到各大工业公司的支持，其中包括了所有主要服务器厂商（如：戴尔，惠普，IBM，英特尔，微软等公司）。
图 1. InfiniBand 系统网络
从这张图中我们不难看出，InfiniBand 系统网络主要由两个核心部件组成：主机通道适配器（Host Channel Adapter）和 InfiniBand 交换机。其中，HCA 为主机设备提供一个接口用于支持所有 InfiniBand 定义的操作，而交换机则用于将一个端口接收到的 InfiniBand 报文转发到另一个端口，它支持单播和多播两种机制。
InfiniBand 在 Linux 系统中的配置
随着 InfiniBand 技术的应用越来越广，做为应用基础的 InfiniBand 配置问题也日益成为人们关注的热点，下面本文将对 InfiniBand 在 Linux 系统中的配置做一个具体的介绍，包括 InfiniBand 在 Red Hat Enterprise Linux 5.3 和 SLES11 系统中的网卡驱动的安装以及 IPoIB 的配置方法。
InfiniBand 在 RedHat 中的配置
Red Hat 产品是从 Red Hat Enterprise Linux 5.3 开始正式在内核中集成对 InfiniBand 网卡的支持，并且将 InfiniBand 所需的驱动程序以及库文件打包到发行 CD 里，所以对于有 InfiniBand 应用需求的 Red Hat 用户，我们推荐其采用 Red Hat Enterprise Linux 5.3 及其以后的系统版本。
-
安装 InfiniBand 驱动程序
在安装 InfiniBand 驱动程序之前，请确认 InfiniBand 网卡已经被正确地连接或分配到主机。然后，从 Red Hat Enterprise Linux 5.3 的发布 CD 中获得 Table1 中给出的 rpm 文件，并根据上层应用程序的需要选择安装相应的 32 位或 64 位软件包。
表 1. RedHatEL5.3 中 InfiniBand 库文件列表
| openib-*.el5.noarch.rpm |
|
| 32bit |
libibcm-*.el5.ppc.rpm |
| 64bit |
libibcm-*.el5.ppc64.rpm |
另外，对于不同类型的 InfiniBand 网卡，我们还需要安装一些特殊的驱动程序，例如Galaxy1/Galaxy2类型的 InfiniBand网卡，就需要安装 ehca 相关的驱动。在这里我们给出三种常见 InfiniBand 网卡及其所需驱动的对应关系供您参考，见表二。
表 2. 常见 InfiniBand 网卡类型及所需驱动对应表
| libehca |
32bit |
libehca-*.el5.ppc.rpm |
| 64bit |
libehca-*.el5.ppc64.rpm |
|
| libmthca |
32bit |
libmthca-*.el5.ppc.rpm |
| 64bit |
libmthca-*.el5.ppc64.rpm |
|
| libmlx4 |
32bit |
libmlx4-*.el5.ppc.rpm |
| 64bit |
libmlx4-*.el5.ppc64.rpm |
-
启动 openibd 服务
在 Red Hat Enterprise Linux 5.3 系统中，openibd 服务在默认情况下是不打开的，所以在安装完驱动程序之后，配置 IPoIB 网络接口之前，我们需要先使能 openibd 服务以保证相应的驱动被加载到系统内核。具体方法如下：
清单 1. 启动 openibd 服务
|
# /etc/init.d/openibd start Loading OpenIB kernel modules: [ OK ] |
启动 openibd 服务后，可用以下命令检查相应的驱动是否已加载，以 Galaxy2 网卡为例应得到以下输出。
清单 2. Openibd 服务状态示例
|
# /etc/init.d/openibd status Low level hardware support loaded: ib_ehca Upper layer protocol modules: ib_iser ib_srp ib_sdp ib_ipoib User space access modules: rdma_ucm ib_ucm ib_uverbs ib_umad Connection management modules: rdma_cm ib_cm iw_cm Configured IPoIB interfaces: none Currently active IPoIB interfaces: none |
此时，用 ifconfig 命令已经可以看到待配置的 ib 接口，例如：
清单 3. Ifconfig 命令输出
| # ifconfig -a ib0 Link encap:InfiniBand HWaddr 80:00:00:2C:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 BROADCAST MULTICAST MTU:4092 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:256 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) ib1 Link encap:InfiniBand HWaddr 80:00:00:2E:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 BROADCAST MULTICAST MTU:4092 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:256 RX bytes:0 (0.0 b) TX bytes:0 (0.0 b) |
但这种使能 openibd 服务的方法只在本次启动中生效，如果用户需要在系统重新启动后仍保持 openibd 使能，则需要使用chkconfig 命令将其添加到系统服务列表中，如：
清单 4. 使用 chkconfig 添加 openibd 服务
| # chkconfig --level 235 openibd on # chkconfig --list|grep openibd openibd 0:off 1:off 2:on 3:on 4:off 5:on 6:off |
-
配置 IPoIB 网络接口
在 Red Hat Enterprise Linux 5.3 中配置 IPoIB 网络接口的方法与配置以太接口方法类似，即 /etc/sysconfig/network-scripts路径下创建相应的 IB 接口配置文件，如 ifcfg-ib0, ifcfg-ib1 等。这里我们给出一个对接口 ib0 做简单 IPoIB 配置的例子以供参考。
清单 5. 接口配置文件示例
|
# cat /etc/sysconfig/network-scripts/ifcfg-ib0 DEVICE=ib0 BOOTPROTO='static' IPADDR=10.0.0.5 NETMASK=255.255.255.0 BROADCAST=10.0.0.255 NETWORK=10.0.0.0 TARTMODE='onboot' |
IB 接口配置文件创建完成后，需要重新启动接口设备以使新配置生效，这时可以使用 ifconfig 命令检查接口配置是否已经生效，具体操作如下。
清单 6. 重启接口设备示例
| [root@p6ihn05 network-scripts]# ifdown ib0 [root@p6ihn05 network-scripts]# ifup ib0 [root@p6ihn05 network-scripts]# ifconfig ib0 ib0 Link encap:InfiniBand HWaddr 80:00:00:2C:FE:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00 inet addr:10.0.0.5 Bcast:10.0.0.255 Mask:255.255.255.0 inet6 addr: fe80::202:5500:1022:4a00/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:4092 Metric:1 RX packets:24 errors:0 dropped:0 overruns:0 frame:0 TX packets:63 errors:0 dropped:15 overruns:0 carrier:0 collisions:0 txqueuelen:256 RX bytes:8252 (8.0 KiB) TX bytes:16956 (16.5 KiB) |
至此，IB 接口配置工作基本完成。如果需要进一步验证其工作是否正常，可以参考以上步骤配置另外一台节点，并在两个节点之间运行 ping 命令。如果 ping 成功，则说明 IPoIB 配置成功。
