Install IB

環境

enp1s0@nccl-study01:~$ uname -a
Linux nccl-study01 4.4.0-142-generic #168-Ubuntu SMP Wed Jan 16 21:00:45 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

enp1s0@nccl-study01:~$ cat /etc/os-release
NAME="Ubuntu"
VERSION="16.04.6 LTS (Xenial Xerus)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 16.04.6 LTS"
VERSION_ID="16.04"
HOME_URL="http://www.ubuntu.com/"
SUPPORT_URL="http://help.ubuntu.com/"
BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/"
VERSION_CODENAME=xenial
UBUNTU_CODENAME=xenial

enp1s0@nccl-study01:~$ lspci | grep Mella
01:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]

苦戦したこと

多分必要なパッケージはすべてaptで入るのですが，必要そうなものを片っ端から入れても何故かibstatで

enp1s0@nccl-study01:~$ ibstat
ibwarn: [32378] umad_init: can't read ABI version from /sys/class/infiniband_mad/abi_version (No such file or directory): is ib_umad module loaded?
ibpanic: [32378] main: can't init UMAD library: No such file or directory

とエラーでる．
ib_umadをロードすればいいかというと

enp1s0@nccl-study01:~$ modprobe ib_umad
modprobe: FATAL: Module ib_umad not found in directory /lib/modules/4.4.0-142-generic

と，ないよと言われる．

どう解決したか

aptで入れるのは諦めました．
HowTo Install MLNX_OFED Driver - Mellanox
を見ながら手動で入れましょう．
aptで色々入れてしまったせいか--forceオプションを付けて

./mlnxofedinstall --force

とすればかんたんに入ります．