跳到主要内容
版本：V1.2

Linux操作指南

Linux服务器信息获取​

获取操作系统版本​

输入命令:

cat /etc/redhat-release

得到返回结果：

CentOS Linux release 7.9.2009

从上面结果得知：操作系统版本为centos7.9

获取本机内网IP​

输入命令:

ip r get 1 | awk 'NR==1 {print $NF}'

得到返回结果：

172.17.228.252

从上面结果得知：172.17.228.252 为内网IP地址

获取操作系统内核​

输入命令:

uname -r

得到返回结果：

3.10.0-1160.el7.x86_64

从上面结果得知: 系统内核版本为3.10.0-1160、CPU架构为X86

获取cpu核数​

输入命令：

grep processor /proc/cpuinfo|wc -l

得到返回结果：

16

从上面结果得知：cpu核数为16核

获取cpu指令集​

输入命令：

lscpu|grep -E 'avx2|avx|fma'

得到返回结果：

Flags:  fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc eagerfpu pni pclmulqdq monitor ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch invpcid_single fsgsbase tsc_adjust bmi1 hle **avx2** smep bmi2 erms invpcid rtm mpx avx512f avx512dq rdseed adx smap clflushopt clwb avx512cd avx512bw avx512vl xsaveopt xsavec xgetbv1 arat avx512_vnni

获取内存大小​

输入命令：

free -h|awk '{if (NR==2) print $2}'

得到返回结果：

30G

从上面结果得知：内存大小为30G

检查磁盘开机挂载​

输入命令：

cat /etc/fstab

得到返回结果：

UUID=9f2d3e15-a78a-4f3d-8385-0165b4b67864 /  ext4 defaults 1 1
/dev/sdb1 /home  ext4 defaults 1 1

从上面可以知道，/dev/sdb1这块设备以ext4的格式挂载到了/home目录，并且设置开机自动加载

检查firewall是否开机自启​

输入命令：

systemctl is-enabled firewalld

得到返回结果：

disabled

从上面结果得知：已禁用防火墙开机自启

检查用户是否拥有sudo权限​

输入命令：

Input: sudo -l -U laiye

得到返回结果：

    (ALL) ALL

从上面结果得知：用户laiye拥有sudo权限

检查显卡驱动​

输入命令：

nvidia-smi

得到返回结果：

-bash: nvidia-smi: Not found

从上面结果得知：未找到nvidia-smi命令。表示并未安装显卡驱动或驱动异常

检查磁盘性能​

# 获取写入速度
time dd if=/dev/zero of=/tmp/test.disk bs=8k count=300000
# 获取读取速度
time dd if=/tmp/test.disk of=/dev/null bs=8k

Linux安装与维护​

安装显卡驱动​

  • 获取显卡型号

输入命令：

lspci|grep -i nvidia

得到返回结果：

    0000:3f:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)
    0000:40:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)
    0000:43:00.0 3D controller: NVIDIA Corporation Device 1eb8 (rev a1)

从上面结果得知：显卡型号十六进制为1eb8。点击这里 搜索1eb8,得知显卡型号为Tesla T4

  • 获取显卡驱动

官方驱动下载 搜索指定显卡型号驱动，获取二进制驱动文件。CUDA Toolkit推荐10.2

  • 安装驱动

将下载的驱动传入到gpu服务器，执行安装

  • 检查驱动
nvidia-smi

如果有返回则表明驱动安装完成

  • 安装nvidia-docker

如果容器想要使用gpu资源的话，依赖nvidia-docker。需要安装docker后，才可以安装nvidia-docker。切记备份/etc/docker/daemon.json文件，因为安装这个会替换这个文件所有内容

输入命令：

wget -c https://private-deploy.oss-cn-beijing.aliyuncs.com/pengyongshi/nvidia/nvidia-docker2.tar.gz

tar -zxvf nvidia-docker2.tar.gz

cd nvidia-docker2

rpm -ivUh *.rpm --force --nodeps

以上步骤安装完后，会默认替换掉/etc/docker/daemon.json文件,将之前备份的daemon.json中的内容追加到文件里

/etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    },
    "insecure-registries":[
        "10.116.28.239:8888"
    ]
}

重启docker

systemctl start docker

  • 安装k8s nvidia插件

要在 Kubernetes 中使用 GPU，需要NVIDIA设备插件。NVIDIA Device Plugin 是一个 daemonset，它会自动枚举集群每个节点上的 GPU 数量，并允许 pod 在 GPU 上运行。这个只需要在master1上安装即可

输入命令：

wget -c https://private-deploy.oss-cn-beijing.aliyuncs.com/pengyongshi/nvidia/k8s-device-plugin.tar

docker load -i k8s-device-plugin.tar

将以下内容写入nvidia-device-plugin.yaml文件，并导入/var/lib/kubelet/plugins/

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: nvidia-device-plugin-daemonset
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: nvidia-device-plugin-ds
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ""
      labels:
        name: nvidia-device-plugin-ds
    spec:
      tolerations:
      - key: CriticalAddonsOnly
        operator: Exists
      - key: nvidia.com/gpu
        operator: Exists
        effect: NoSchedule
      priorityClassName: "system-node-critical"
      containers:
      - image: nvidia/k8s-device-plugin:1.0.0-beta6
        name: nvidia-device-plugin-ctr
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop: ["ALL"]
        volumeMounts:
          - name: device-plugin
            mountPath: /var/lib/kubelet/device-plugins
      volumes:
        - name: device-plugin
          hostPath:
            path: /var/lib/kubelet/device-plugins

输入命令：

kubectl apply -f /var/lib/kubelet/plugins/nvidia-device-plugin.yaml
  • 安装cudnn

输入命令：

wget -c https://private-deploy.oss-cn-beijing.aliyuncs.com/pengyongshi/nvidia/cudnn-10.2-linux-x64-v7.6.5.32.tgzInput: tar xvf cudnn-10.2-linux-x64-v7.6.5.32.tgz

cp cuda/include/cudnn.h /usr/local/cuda/include/

cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/

chmod -R a+r /usr/local/cuda

export PATH=$PATH:/usr/local/cuda/bin

添加sudo账号​

默认情况下，wheel这个组里的用户具有sudo权限，所以我们仅需要将普通用户附加到wheel这个组即可

输入命令：

usermod -G wheel laiye

返回为空，表示laiye这个普通用户已经加入到wheel这个组了

关闭并禁用防火墙​

输入命令：

setenforce 0
sed -i 's/\(SELINUX=\)[a-z].*/\1disabled/' /etc/selinux/config
systemctl stop firewalld
systemctl disable firewalld