Avec l’InfiniBand, il est possible de transporter différents protocoles comme le SCSI, l’IP, le SRP ou RDMA. Il est donc nécessaire de charger le module noyau nécessaire au protocole IP pour InfiniBand.

De plus, contrairement l’Ethernet, les cartes InfiniBand sont dépourvues de Subnet Manager permettant de gérer la topologie du réseau.

Installation d’infiniband-diags :

Le paquet infiniband-diags contient tout le nécessaire pour gérer le protocole IP (et de nombreux autres,) à travers de l’InfiniBand. On y trouve aussi quelques outils de diagnostic bien utiles au diagnostic d’un réseau InfiniBand.

root@DL380G5-A:~# apt-get install infiniband-diags

Installation du Subnet Manager :

Le paquet opensm permet d’installer un service de Subnet Manager compatible avec l’InfiniBand. Seul un service de Subnet Manager est nécessaire. Mais rien n’empêche de le faire tourner sur l’ensemble du réseau InfiniBand.

Notez que de nombreux Switch InfiniBand disposent d’un Subnet Manager activable depuis l’interface d’administration.

root@DL380G5-A:~# apt-get install opensm

Services et modules noyau :

Il est nécessaire de lancer les modules noyaux ib_mad, ib_umad et ib_ipoib avant de lancer le service opensm.

root@DL380G5-A:~# modprobe ib_mad
root@DL380G5-A:~# modprobe ib_umad
root@DL380G5-A:~# modprobe ib_ipoib
root@DL380G5-A:~# service opensm start

ifconfig devrait maintenant reconnaître la carte :

root@DL380G5-A:~# ifconfig ib0
ib0       Link encap:UNSPEC  HWaddr 80-00-02-08-FE-80-00-00-00-00-00-00-00-00-00-00  
          BROADCAST MULTICAST  MTU:4092  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:256 
          RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

Performances et optimisations :

L’InfiniBand peut fonctionner en deux modes distinct, datagram ou connected. Par défaut et a chaque redémarrage, la carte passe en mode datagram mais le mode connected semble offrir de meilleurs performances.

Pour activer le mode connected :

root@DL380G5-A:~# echo connected > /sys/class/net/ib0/mode

La MTU peut aussi être élevé jusqu’à 65520.

Configuration automatique :

Le plus simple est de tout coller dans fichier de configuration /etc/network/interfaces

auto lo
iface lo inet loopback

auto eth0
iface eth0 inet dhcp

auto ib0
iface ib0 inet static
        address 192.168.15.1
        netmask 255.255.255.0
        pre-up  modprobe ib_mad
        pre-up  modprobe ib_umad
        pre-up  modprobe ib_ipoib
        pre-up echo connected > /sys/class/net/ib0/mode
        MTU 65520