deploy/kud-plugin-addons/device-plugins/qat/driver/install_qat.sh

   1 #!/bin/bash
   2
   3 # Precondition:
   4 # QAT device installed, such as lspci | grep 37c8
   5 # Enable grub with "intel_iommu=on iommu=pt"
   6
   7 ROOT=
   8
   9 MV=mv
  10 RM=rm
  11 ECHO=echo
  12 SLEEP=sleep
  13 INSTALL="/usr/bin/install -c"
  14 MKDIR_P="mkdir -p"
  15 libdir=/usr/local/lib
  16 bindir=/usr/local/bin
  17
  18 am__append_1="drivers/crypto/qat/qat_dh895xcc/qat_dh895xcc.ko\
  19         drivers/crypto/qat/qat_dh895xccvf/qat_dh895xccvf.ko"
  20
  21 am__append_2="qat_895xcc.bin qat_895xcc_mmp.bin"
  22 am__append_3="dh895xcc_dev0.conf dh895xcc_dev1.conf dh895xccvf_dev0.conf.vm"
  23
  24 # Kernel modules list
  25 KO_MODULES_LIST="drivers/crypto/qat/qat_common/intel_qat.ko \
  26     drivers/crypto/qat/qat_c62x/qat_c62x.ko \
  27     drivers/crypto/qat/qat_c62xvf/qat_c62xvf.ko \
  28     drivers/crypto/qat/qat_d15xx/qat_d15xx.ko \
  29     drivers/crypto/qat/qat_d15xxvf/qat_d15xxvf.ko \
  30     drivers/crypto/qat/qat_c3xxx/qat_c3xxx.ko \
  31     drivers/crypto/qat/qat_c3xxxvf/qat_c3xxxvf.ko $am__append_1"
  32
  33 # Firmwares list
  34 BIN_LIST="qat_c3xxx.bin qat_c3xxx_mmp.bin qat_c62x.bin \
  35     qat_c62x_mmp.bin qat_mmp.bin qat_d15xx.bin qat_d15xx_mmp.bin \
  36     $am__append_2"
  37 CONFIG_LIST="c3xxx_dev0.conf \
  38     c3xxxvf_dev0.conf.vm \
  39     c6xx_dev0.conf \
  40     c6xx_dev1.conf \
  41     c6xx_dev2.conf \
  42     c6xxvf_dev0.conf.vm \
  43     d15xx_dev0.conf \
  44     d15xxpf_dev0.conf \
  45     d15xxvf_dev0.conf.vm \
  46     $am__append_3"
  47
  48 QAT_DH895XCC_NUM_VFS=32
  49 QAT_DHC62X_NUM_VFS=16
  50 QAT_DHD15XX_NUM_VFS=16
  51 QAT_DHC3XXX_NUM_VFS=16
  52
  53 # Device information variables
  54 INTEL_VENDORID="8086"
  55 DH895_DEVICE_NUMBER="0435"
  56 DH895_DEVICE_NUMBER_VM="0443"
  57 C62X_DEVICE_NUMBER="37c8"
  58 C62X_DEVICE_NUMBER_VM="37c9"
  59 D15XX_DEVICE_NUMBER="6f54"
  60 D15XX_DEVICE_NUMBER_VM="6f55"
  61 C3XXX_DEVICE_NUMBER="19e2"
  62 C3XXX_DEVICE_NUMBER_VM="19e3"
  63 numC62xDevice=`lspci -vnd 8086: | egrep -c "37c8|37c9"`
  64 numD15xxDevice=`lspci -vnd 8086: | egrep -c "6f54|6f55"`
  65 numDh895xDevice=`lspci -vnd 8086: | egrep -c "0435|0443"`
  66 numC3xxxDevice=`lspci -vnd 8086: | egrep -c "19e2|19e3"`
  67 numDh895xDevicesP=`lspci -n | egrep -c "$INTEL_VENDORID:$DH895_DEVICE_NUMBER"`
  68 numDh895xDevicesV=`lspci -n | egrep -c "$INTEL_VENDORID:$DH895_DEVICE_NUMBER_VM"`
  69 numC62xDevicesP=`lspci -n | egrep -c "$INTEL_VENDORID:$C62X_DEVICE_NUMBER"`
  70 numD15xxDevicesP=`lspci -n | egrep -c "$INTEL_VENDORID:$D15XX_DEVICE_NUMBER"`
  71 numC3xxxDevicesP=`lspci -n | egrep -c "$INTEL_VENDORID:$C3XXX_DEVICE_NUMBER"`
  72 MODPROBE_BLACKLIST_FILE="blacklist-qat-vfs.conf"
  73
  74 # load vfio-pci
  75 $ECHO "Loading module vfio-pci"
  76 modprobe vfio-pci
  77
  78 # qat-driver
  79 $ECHO "Installing driver in `\uname -r`"
  80 INSTALL_MOD_DIR=/lib/modules/`\uname -r`/updates/
  81 for ko in $KO_MODULES_LIST; do
  82     base=${ko%/*};
  83     file=${ko##*/};
  84     mkdir -p $ROOT$INSTALL_MOD_DIR$base
  85     $INSTALL $file $ROOT$INSTALL_MOD_DIR$base
  86 done
  87
  88 # qat-adf-ctl
  89 if [ ! -d $ROOT$bindir ]; then
  90     $MKDIR_P $ROOT$bindir;
  91 fi;
  92 $INSTALL -D -m 750 adf_ctl $ROOT$bindir/adf_ctl;
  93
  94 # qat-service
  95 if [ ! -d $ROOT/lib/firmware/qat_fw_backup ]; then
  96     $MKDIR_P $ROOT/lib/firmware/qat_fw_backup;
  97 fi;
  98
  99 for bin in $BIN_LIST; do
 100     if [ -e $ROOT/lib/firmware/$bin ]; then
 101         mv $ROOT/lib/firmware/$bin $ROOT/lib/firmware/qat_fw_backup/$bin;
 102     fi;
 103     if [ -e $bin ]; then
 104         $INSTALL -D -m 750 $bin $ROOT/lib/firmware/$bin;
 105     fi;
 106 done;
 107
 108 if [ ! -d $ROOT/etc/qat_conf_backup ]; then
 109     $MKDIR_P $ROOT/etc/qat_conf_backup;
 110 fi;
 111 $MV $ROOT/etc/dh895xcc*.conf $ROOT/etc/qat_conf_backup/ 2>/dev/null;
 112 $MV $ROOT/etc/c6xx*.conf $ROOT/etc/qat_conf_backup/ 2>/dev/null;
 113 $MV $ROOT/etc/d15xx*.conf $ROOT/etc/qat_conf_backup/ 2>/dev/null;
 114 $MV $ROOT/etc/c3xxx*.conf $ROOT/etc/qat_conf_backup/ 2>/dev/null;
 115
 116 for ((dev=0; dev<$numDh895xDevicesP; dev++)); do
 117     $INSTALL -D -m 640 dh895xcc_dev0.conf $ROOT/etc/dh895xcc_dev$dev.conf;
 118     for ((vf_dev = 0; vf_dev<$QAT_DH895XCC_NUM_VFS; vf_dev++)); do
 119         vf_dev_num=$(($dev * $QAT_DH895XCC_NUM_VFS + $vf_dev));
 120         $INSTALL -D -m 640 dh895xccvf_dev0.conf.vm $ROOT/etc/dh895xccvf_dev$vf_dev_num.conf;
 121     done;
 122 done;
 123
 124 for ((dev=0; dev<$numC62xDevicesP; dev++)); do
 125     $INSTALL -D -m 640 c6xx_dev$(($dev%3)).conf $ROOT/etc/c6xx_dev$dev.conf;
 126     for ((vf_dev = 0; vf_dev<$QAT_DHC62X_NUM_VFS; vf_dev++)); do
 127         vf_dev_num=$(($dev * $QAT_DHC62X_NUM_VFS + $vf_dev));
 128         $INSTALL -D -m 640 c6xxvf_dev0.conf.vm $ROOT/etc/c6xxvf_dev$vf_dev_num.conf;
 129     done;
 130 done;
 131
 132 for ((dev=0; dev<$numD15xxDevicesP; dev++)); do
 133     $INSTALL -D -m 640 d15xx_dev$(($dev%3)).conf $ROOT/etc/d15xx_dev$dev.conf;
 134     for ((vf_dev = 0; vf_dev<$QAT_DHD15XX_NUM_VFS; vf_dev++)); do
 135         vf_dev_num=$(($dev * $QAT_DHD15XX_NUM_VFS + $vf_dev));
 136         $INSTALL -D -m 640 d15xxvf_dev0.conf.vm $ROOT/etc/d15xxvf_dev$vf_dev_num.conf;
 137     done;
 138 done;
 139
 140 for ((dev=0; dev<$numC3xxxDevicesP; dev++)); do
 141     $INSTALL -D -m 640 c3xxx_dev0.conf $ROOT/etc/c3xxx_dev$dev.conf;
 142     for ((vf_dev = 0; vf_dev<$QAT_DHC3XXX_NUM_VFS; vf_dev++)); do
 143         vf_dev_num=$(($dev * $QAT_DHC3XXX_NUM_VFS + $vf_dev));
 144         $INSTALL -D -m 640 c3xxxvf_dev0.conf.vm $ROOT/etc/c3xxxvf_dev$vf_dev_num.conf;
 145     done;
 146 done;
 147
 148 $ECHO "Creating startup and kill scripts";
 149 if [ ! -d $ROOT/etc/modprobe.d ]; then
 150     $MKDIR_P $ROOT/etc/modprobe.d;
 151 fi;
 152 $INSTALL -D -m 750 qat_service $ROOT/etc/init.d/qat_service;
 153 $INSTALL -D -m 750 qat_service_vfs $ROOT/etc/init.d/qat_service_vfs;
 154 $INSTALL -D -m 750 qat $ROOT/etc/default/qat;
 155 if [ -e $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE ] ; then
 156     $RM $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE;
 157 fi;
 158
 159 if [ $numDh895xDevicesP != 0 ];then
 160     $ECHO "blacklist qat_dh895xccvf" >> $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE;
 161 fi;
 162 if [ $numC3xxxDevicesP != 0 ];then
 163     $ECHO "blacklist qat_c3xxxvf" >> $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE;
 164 fi;
 165 if [ $numC62xDevicesP != 0 ];then
 166     $ECHO "blacklist qat_c62xvf" >> $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE;
 167 fi;
 168 if [ $numD15xxDevicesP != 0 ];then
 169     $ECHO "blacklist qat_d15xxvf" >> $ROOT/etc/modprobe.d/$MODPROBE_BLACKLIST_FILE;
 170 fi;
 171
 172 if [ ! -d $ROOT$libdir ]; then
 173     $MKDIR_P $ROOT$libdir;
 174 fi;
 175 if [ ! -d $ROOT/etc/ld.so.conf.d ]; then
 176     $MKDIR_P $ROOT/etc/ld.so.conf.d;
 177 fi;
 178 if [ ! -d $ROOT/lib/modules/`\uname -r`/kernel/drivers ]; then
 179     $MKDIR_P $ROOT/lib/modules/`\uname -r`/kernel/drivers;
 180 fi;
 181 if [ ! -d $ROOT/etc/udev/rules.d ]; then
 182     $MKDIR_P $ROOT/etc/udev/rules.d;
 183 fi;
 184
 185 $ECHO "Copying libqat_s.so to $ROOT$libdir";
 186 $INSTALL -D -m 755 libqat_s.so $ROOT$libdir/libqat_s.so;
 187 $ECHO "Copying libusdm_drv_s.so to $ROOT$libdir";
 188 $INSTALL -D -m 755 libusdm_drv_s.so $ROOT$libdir/libusdm_drv_s.so;
 189 $ECHO $libdir > $ROOT/etc/ld.so.conf.d/qat.conf; ldconfig;
 190
 191 $ECHO "Copying usdm module to system drivers";
 192 $INSTALL usdm_drv.ko "$ROOT/lib/modules/`\uname -r`/kernel/drivers";
 193 $INSTALL qat_api.ko  "$ROOT/lib/modules/`\uname -r`/kernel/drivers";
 194 $ECHO "Creating udev rules";
 195 if [ ! -e $ROOT/etc/udev/rules.d/00-qat.rules ]; then
 196     echo 'KERNEL=="qat_adf_ctl" MODE="0660" GROUP="qat"' > $ROOT/etc/udev/rules.d/00-qat.rules;
 197     echo 'KERNEL=="qat_dev_processes" MODE="0660" GROUP="qat"' >> $ROOT/etc/udev/rules.d/00-qat.rules;
 198     echo 'KERNEL=="usdm_drv" MODE="0660" GROUP="qat"' >> $ROOT/etc/udev/rules.d/00-qat.rules;
 199     echo 'KERNEL=="uio*" MODE="0660" GROUP="qat"' >> $ROOT/etc/udev/rules.d/00-qat.rules;
 200     echo 'KERNEL=="hugepages" MODE="0660" GROUP="qat"' >> $ROOT/etc/udev/rules.d/00-qat.rules;
 201 fi;
 202 $ECHO "Creating module.dep file for QAT released kernel object";
 203 $ECHO "This will take a few moments";
 204 depmod -a;
 205 if [ `lsmod | grep "usdm_drv" | wc -l` != "0" ]; then
 206     $ECHO "rmmod usdm_drv";
 207     rmmod usdm_drv;
 208 fi;
 209 if [ -e /sbin/chkconfig ] ; then
 210     chkconfig --add qat_service;
 211 elif [ -e /usr/sbin/update-rc.d ]; then
 212     $ECHO "update-rc.d qat_service defaults";
 213     update-rc.d qat_service defaults;
 214 fi;
 215
 216 $ECHO "Starting QAT service";
 217 /etc/init.d/qat_service shutdown;
 218 $SLEEP 3;
 219 /etc/init.d/qat_service start;
 220
 221 # load kernel vf module for QAT device plugin
 222 numC62xDevicesV=`lspci -n | egrep -c "$INTEL_VENDORID:$C62X_DEVICE_NUMBER_VM"`
 223 numD15xxDevicesV=`lspci -n | egrep -c "$INTEL_VENDORID:$D15XX_DEVICE_NUMBER_VM"`
 224 numC3xxxDevicesV=`lspci -n | egrep -c "$INTEL_VENDORID:$C3XXX_DEVICE_NUMBER_VM"`
 225 if [ $numC62xDevicesV != 0 ];then
 226     $ECHO "Loading qat_c62xvf";
 227     modprobe qat_c62xvf
 228 fi
 229 if [ $numC3xxxDevicesV != 0 ];then
 230     $ECHO "Loading qat_c3xxxvf";
 231     modprobe qat_c3xxxvf
 232 fi
 233 if [ $numD15xxDevicesV != 0 ];then
 234     $ECHO "Loading qat_d15xxvf";
 235     modprobe qat_d15xxvf
 236 fi
 237