环境

oracle rac19c

centos 7.9

华为存储多路径软件 OceanStor_UltraPath_31.0.2_CentOS.zip

1、用了华为的多路径软件就不需要用multipath了，很方便。

首先是安装，解压 OceanStor_UltraPath_31.0.2_CentOS.zip，解压出来是CentOS文件夹

[root@bms-9 CentOS]# bash install.sh

默认安装就可以，默认会建议重启，我这里重启了。

2、系统查看识别到的硬盘

[root@bms-9 CentOS]# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda               8:0    0 446.6G  0 disk
├─sda1            8:1    0   200M  0 part /boot/efi
├─sda2            8:2    0     1G  0 part /boot
└─sda3            8:3    0 445.4G  0 part
  ├─centos-root 253:0    0 441.4G  0 lvm  /
  └─centos-swap 253:1    0     4G  0 lvm  [SWAP]
sdga            131:96   0    50G  0 disk
sdgb            131:112  0    20G  0 disk
sdgc            131:128  0   1.5T  0 disk
sdgd            131:144  0   1.5T  0 disk
sdge            131:160  0   1.5T  0 disk
sdgf            131:176  0   1.5T  0 disk
sdgg            131:192  0   1.5T  0 disk
sdgh            131:208  0   1.5T  0 disk
sdgi            131:224  0     1T  0 disk
sdgj            131:240  0    20G  0 disk
sdfz            131:80   0    20G  0 disk

3、通过华为多路径软件的命令查看

[root@bms-9 CentOS]# upadmin
UltraPath CLI #0 >show vlun
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
 Vlun ID  Disk          Name                       Lun WWN               Status  Capacity  Ctrl(Own/Work)  Array Name  Dev Lun ID  No. of Paths(Available/Total)
    0     sdfz  RAC_BMS10_BMS9_OCR02   644227c10028c030171ef7e60000001c  Normal  20.00GB       --/--       HW-Stor-1       28                  24/24
    1     sdga  RAC_BMS10_BMS9_MGMT01  644227c10028c030171f17e20000001e  Normal  50.00GB       --/--       HW-Stor-1       30                  24/24
    2     sdgb  RAC_BMS10_BMS9_OCR03   644227c10028c030171f02360000001d  Normal  20.00GB       --/--       HW-Stor-1       29                  24/24
    3     sdgc  RAC_BMS10_BMS9_DATA01  644227c10028c030171f3fa10000001f  Normal   1.50TB       --/--       HW-Stor-1       31                  24/24
    4     sdgd  RAC_BMS10_BMS9_DATA02  644227c10028c030171f503b00000020  Normal   1.50TB       --/--       HW-Stor-1       32                  24/24
    5     sdge  RAC_BMS10_BMS9_DATA03  644227c10028c030171f5f4100000021  Normal   1.50TB       --/--       HW-Stor-1       33                  24/24
    6     sdgf  RAC_BMS10_BMS9_DATA04  644227c10028c030171f7ffe00000022  Normal   1.50TB       --/--       HW-Stor-1       34                  24/24
    7     sdgg  RAC_BMS10_BMS9_DATA05  644227c10028c030171f9dd400000023  Normal   1.50TB       --/--       HW-Stor-1       35                  24/24
    8     sdgh  RAC_BMS10_BMS9_DATA06  644227c10028c030171faaec00000024  Normal   1.50TB       --/--       HW-Stor-1       36                  24/24
    9     sdgi  RAC_BMS10_BMS9_FRA01   644227c10028c030171fb9ab00000025  Normal   1.00TB       --/--       HW-Stor-1       37                  24/24
   10     sdgj  RAC_BMS10_BMS9_OCR01   644227c10028c030171eeb4b0000001b  Normal  20.00GB       --/--       HW-Stor-1       27                  24/24
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
UltraPath CLI #1 >

RAC_BMS10_BMS9_DATA01

这个好的一点在于，这个vlun名字为存储划分时候起的名字，非常清晰。

4、根据自己的规划，设置别名，（根据自己系统的盘符更改）俩节点盘符可能不一样，所以别名对应盘符可能也不一样

upLinux setDiskAlias src_name=sdgl dest_alias=asm-dgocr01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgm dest_alias=asm-dgocr02 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgn dest_alias=asm-dgocr03 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdge dest_alias=asm-dgmgmt01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgg dest_alias=asm-dgdata01 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgd dest_alias=asm-dgdata02 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgf dest_alias=asm-dgdata03 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgh dest_alias=asm-dgdata04 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgi dest_alias=asm-dgdata05 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgj dest_alias=asm-dgdata06 owner=grid group=asmadmin method=SYMLINK
upLinux setDiskAlias src_name=sdgk dest_alias=asm-dgfra01 owner=grid group=asmadmin method=SYMLINK

注意，虽然这边

upLinux setDiskAlias src_name=sdgl dest_alias=asm-dgocr01 owner=grid group=asmadmin method=SYMLINK

是通过盘符来设置别名，但实际上是将别名绑定到盘符对应的lun WWN上了，重启系统后，盘符会变，

但是alias和Lun WWN的对应关系还是一样的。

5、多路径软件查看别名设置

[root@bms-9 CentOS]# upLinux showDiskAlias
----------------------------------------------------------------------------------------------------------------------------------------
    ID                     Alias                              Lun WWN                               Disk                     Type
    0                   asm-dgdata01              644227c10028c030171f3fa10000001f                  sdgc                   SYMLINK
    1                   asm-dgdata02              644227c10028c030171f503b00000020                  sdgd                   SYMLINK
    2                   asm-dgdata03              644227c10028c030171f5f4100000021                  sdge                   SYMLINK
    3                   asm-dgdata04              644227c10028c030171f7ffe00000022                  sdgf                   SYMLINK
    4                   asm-dgdata05              644227c10028c030171f9dd400000023                  sdgg                   SYMLINK
    5                   asm-dgdata06              644227c10028c030171faaec00000024                  sdgh                   SYMLINK
    6                   asm-dgfra01               644227c10028c030171fb9ab00000025                  sdgi                   SYMLINK
    7                   asm-dgmgmt01              644227c10028c030171f17e20000001e                  sdga                   SYMLINK
    8                   asm-dgocr01               644227c10028c030171eeb4b0000001b                  sdgj                   SYMLINK
    9                   asm-dgocr02               644227c10028c030171ef7e60000001c                  sdfz                   SYMLINK
    10                  asm-dgocr03               644227c10028c030171f02360000001d                  sdgb                   SYMLINK
----------------------------------------------------------------------------------------------------------------------------------------
[root@bms-9 CentOS]#

6、查看udev下面通过华为多路径软件自动生成的文件。

[root@bms-9 CentOS]# cd /etc/udev/rules.d/
[root@bms-9 rules.d]# ls
56-nxup.rules  69-vdo-start-by-dev.rules  70-persistent-ipoib.rules  99-ultrapath-alias.rules  99-ultrapath.rules  backup
[root@bms-9 rules.d]# cat 99-ultrapath-alias.rules
# Do not modify this rule configuration file; otherwise, the usage of UltraPath may be affected.
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171eeb4b0000001b", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171ef7e60000001c", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f02360000001d", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgocr03", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f17e20000001e", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgmgmt01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f3fa10000001f", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f503b00000020", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f5f4100000021", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata03", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f7ffe00000022", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata04", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171fb9ab00000025", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgfra01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171f9dd400000023", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata05", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*[a-z]", SUBSYSTEM=="block", ENV{ID_SERIAL}=="3644227c10028c030171faaec00000024", ENV{DEVTYPE}=="disk", SYMLINK+="ultrapath/asm-dgdata06", OWNER="grid", GROUP="asmadmin", MODE="0660"
[root@bms-9 rules.d]#

所以知道，设置别名的命令里已经将盘符属性设置了，是不是很方便。

7、确认asm磁盘状态

[root@bms-9 rules.d]# ll /dev/sd*
brw-rw---- 1 root disk       8,   0 Dec 31 17:30 /dev/sda
brw-rw---- 1 root disk       8,   1 Dec 31 17:30 /dev/sda1
brw-rw---- 1 root disk       8,   2 Dec 31 17:30 /dev/sda2
brw-rw---- 1 root disk       8,   3 Dec 31 17:30 /dev/sda3
brw-rw---- 1 grid asmadmin 131,  80 Jan  4 11:58 /dev/sdfz
brw-rw---- 1 grid asmadmin 131,  96 Jan  4 11:58 /dev/sdga
brw-rw---- 1 grid asmadmin 131, 112 Jan  4 11:58 /dev/sdgb
brw-rw---- 1 grid asmadmin 131, 128 Jan  4 11:29 /dev/sdgc
brw-rw---- 1 grid asmadmin 131, 144 Jan  4 11:29 /dev/sdgd
brw-rw---- 1 grid asmadmin 131, 160 Jan  4 11:29 /dev/sdge
brw-rw---- 1 grid asmadmin 131, 176 Jan  4 11:29 /dev/sdgf
brw-rw---- 1 grid asmadmin 131, 192 Jan  4 11:29 /dev/sdgg
brw-rw---- 1 grid asmadmin 131, 208 Jan  4 11:57 /dev/sdgh
brw-rw---- 1 grid asmadmin 131, 224 Jan  4 11:57 /dev/sdgi
brw-rw---- 1 grid asmadmin 131, 240 Jan  4 11:58 /dev/sdgj
[root@bms-9 rules.d]# ll /dev/ultrapath/asm-dg*
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata01 -> ../sdgc
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata02 -> ../sdgd
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata03 -> ../sdge
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata04 -> ../sdgf
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgdata05 -> ../sdgg
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgdata06 -> ../sdgh
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgfra01 -> ../sdgi
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgmgmt01 -> ../sdga
lrwxrwxrwx 1 root root 7 Jan  4 11:57 /dev/ultrapath/asm-dgocr01 -> ../sdgj
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgocr02 -> ../sdfz
lrwxrwxrwx 1 root root 7 Jan  4 11:29 /dev/ultrapath/asm-dgocr03 -> ../sdgb
[root@bms-9 rules.d]#

8、注意点：

最后所有添加到asm使用的路径都需要使用如下路径,重启后盘符会变，但是asm-dgdata01这些别名是绑定lun的wwn的，重启不会改变。

/dev/ultrapath/asm-dg*

华为多路径配置RAC