Oracle 11gR2 ASM存储日常管理手册

目 录
1 文档简介 3
1.1 编写目的 3
1.2 适用范围 3
1.3 名词解释 3
1.4 格式约定 4
2 配置多链路和LUN 4
2.1 配置LUN名称 4
2.2 创建LUN分区 5
3 管理ASM Disk 6
3.1 创建ASM Disk 6
3.2 删除ASM Disk 7
4 管理ASM DG 8
4.1 创建DG 8
4.2 删除DG 11
4.3 在DG中新增磁盘 12
4.4 在DG中删除磁盘 14
4.5 DG Metadata的备份与恢复 16
4.5.1 Metadata的备份 16
4.5.2 Metadata的恢复 16
5 管理ASM ACFS 16
5.1 新建ACFS 16
5.2 删除ACFS 20
5.3 扩展ACFS 24
5.4 缩小ACFS 26
6 参考文档 27
6.1 Oracle Automatic Storage Management Administrator's Guide 11g Release 2 27

1 文档简介
1.1 编写目的
为Linux数据库平台存储管理软件Oracle 11gR2 ASM存储日常管理提供参考。

1.2 适用范围
该文档的阅读对象为基础架构管理部系统组、存储组、项目组等相关人员。

1.3 名词解释
序号 术语/缩略语 全称和说明
1 GI Grid Infrastructure的简称，Oracle公司的集群和存储管理软件的统称，包含集群软件Clusterware和存储管理软件ASM。
2 CRS Clusterware的简称，Oracle公司的集群管理软件。
3 ASM Automatic Storage Management的简称，Oracle公司的存储管理软件。
4 ASM DG ASM Disk Group的简称，一个DG由若干ASM Disk组成。
5 ASM Disk 一个ASM Disk由OS中的一个Disk或分区创建而成的。在我们的实际环境中，是将LUN的聚合盘整个分成一个分区，并创建成一个ASM Disk。
6 ASM Volume 从ASM DG中分割出来的逻辑卷，类似于LVM中的LV，用于创建ACFS文件系统。
7 ACFS ASM Cluster Filesystem，Oracle 11gR2新推出的集群文件系统。

1.4 格式约定
以“#”开头代表root用户；
以“$”开头代表普通用户；
以“>”开头代表DB用户；
以“SQL>”开头代表sqlplus命令；
以“灰色底纹”标注的为命令或输入字符；
以“斜体”标注的为配置文件内容；

“所有节点”表示集群中的所有机器；
“主节点”表示“节点一”，集群中的第一台机器（下面的cnsh230244）。

2 配置多链路和LUN
2.1 配置LUN名称
1）参考“RHEL5上DM Multipath安装配置手册.doc”，配置好multipath多链路软件；

2）生成如下格式的Lun名称，保证所有节点上都可以看到如下的信息：
注：这些分将分别给OCRVD_DG、DATA_DG、FRA_DG、ACFS_DG所用。
关于LUN的命名方法请参考《Oracle 11gR2 集群管理规范.docx》中的“6.2 LUN及ASM Disk的命名规则”。

ll /dev/mapper/lun

brw-rw---- 1 root disk 253, 6 Aug 6 16:21 /dev/mapper/acfs_lun01
brw-rw---- 1 root disk 253, 7 Aug 6 16:21 /dev/mapper/acfs_lun02
brw-rw---- 1 root disk 253, 8 Aug 6 16:21 /dev/mapper/data_lun01
brw-rw---- 1 root disk 253, 9 Aug 6 16:21 /dev/mapper/data_lun02
brw-rw---- 1 root disk 253, 13 Aug 6 16:21 /dev/mapper/data_lun03
brw-rw---- 1 root disk 253, 14 Aug 6 16:21 /dev/mapper/data_lun04
brw-rw---- 1 root disk 253, 15 Aug 6 16:21 /dev/mapper/data_lun05
brw-rw---- 1 root disk 253, 16 Aug 6 16:21 /dev/mapper/data_lun06
brw-rw---- 1 root disk 253, 17 Aug 6 16:21 /dev/mapper/fra_lun01
brw-rw---- 1 root disk 253, 18 Aug 6 16:21 /dev/mapper/fra_lun02
brw-rw---- 1 root disk 253, 19 Aug 6 16:21 /dev/mapper/fra_lun03
brw-rw---- 1 root disk 253, 20 Aug 6 16:21 /dev/mapper/fra_lun04
brw-rw---- 1 root disk 253, 21 Aug 6 16:21 /dev/mapper/fra_lun05
brw-rw---- 1 root disk 253, 22 Aug 6 16:21 /dev/mapper/fra_lun06
brw-rw---- 1 root disk 253, 10 Aug 6 16:21 /dev/mapper/ocrvd_lun01
brw-rw---- 1 root disk 253, 11 Aug 6 16:21 /dev/mapper/ocrvd_lun02
brw-rw---- 1 root disk 253, 12 Aug 6 16:21 /dev/mapper/ocrvd_lun03

注：关于LUN的命名方法请参考《Oracle 11gR2 GI集群管理规范.docx》。

2.2 创建LUN分区
1）对各个Lun分区，将整个Lun分成一个分区，只需在节点一上操作即可：

printf "nnpn1nnnwn" | fdisk /dev/mapper/acfs_lun01

printf "nnpn1nnnwn" | fdisk /dev/mapper/acfs_lun02

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun01

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun02

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun03

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun04

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun05

printf "nnpn1nnnwn" | fdisk /dev/mapper/data_lun06

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun01

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun02

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun03

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun04

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun05

printf "nnpn1nnnwn" | fdisk /dev/mapper/fra_lun06

printf "nnpn1nnnwn" | fdisk /dev/mapper/ocrvd_lun01

printf "nnpn1nnnwn" | fdisk /dev/mapper/ocrvd_lun02

printf "nnpn1nnnwn" | fdisk /dev/mapper/ocrvd_lun03

2）重新启动OS，使每个节点正确识别到分区，在所有节点上操作：

reboot

3）验证所有节点上都可以看到每个Lun的分区：

ll /dev/mapper/lunp1

brw-rw---- 1 root disk 253, 56 Nov 12 18:15 /dev/mapper/acfs_lun01p1
brw-rw---- 1 root disk 253, 54 Nov 12 18:15 /dev/mapper/acfs_lun02p1
brw-rw---- 1 root disk 253, 49 Nov 12 18:15 /dev/mapper/data_lun01p1
brw-rw---- 1 root disk 253, 46 Nov 12 18:15 /dev/mapper/data_lun02p1
brw-rw---- 1 root disk 253, 43 Nov 12 18:15 /dev/mapper/data_lun03p1
brw-rw---- 1 root disk 253, 71 Nov 12 18:15 /dev/mapper/data_lun04p1
brw-rw---- 1 root disk 253, 69 Nov 12 18:15 /dev/mapper/data_lun05p1
brw-rw---- 1 root disk 253, 66 Nov 12 18:15 /dev/mapper/data_lun06p1
brw-rw---- 1 root disk 253, 50 Nov 12 18:15 /dev/mapper/fra_lun01p1
brw-rw---- 1 root disk 253, 47 Nov 12 18:15 /dev/mapper/fra_lun02p1
brw-rw---- 1 root disk 253, 42 Nov 12 18:15 /dev/mapper/fra_lun03p1
brw-rw---- 1 root disk 253, 40 Nov 12 18:15 /dev/mapper/fra_lun04p1
brw-rw---- 1 root disk 253, 41 Nov 12 18:15 /dev/mapper/fra_lun05p1
brw-rw---- 1 root disk 253, 67 Nov 12 18:15 /dev/mapper/fra_lun06p1
brw-rw---- 1 root disk 253, 68 Nov 12 18:15 /dev/mapper/ocrvd_lun04p1
brw-rw---- 1 root disk 253, 65 Nov 12 18:15 /dev/mapper/ocrvd_lun05p1
brw-rw---- 1 root disk 253, 45 Nov 12 18:15 /dev/mapper/ocrvd_lun06p1

3 管理ASM Disk
3.1 创建ASM Disk
注：关于ASM Disk的命名方法请参考《Oracle 11gR2 集群管理规范.docx》中的“6.2 LUN及ASM Disk的命名规则”。

1）创建ASM Disk，在节点一上操作：

oracleasm createdisk OCRVD_DISK01 /dev/mapper/ocrvd_lun01p1

oracleasm createdisk OCRVD_DISK02 /dev/mapper/ocrvd_lun02p1

oracleasm createdisk OCRVD_DISK03 /dev/mapper/ocrvd_lun03p1

oracleasm createdisk ACFS_DISK01 /dev/mapper/acfs_lun01p1

oracleasm createdisk ACFS_DISK02 /dev/mapper/acfs_lun02p1

oracleasm createdisk DATA_DISK01 /dev/mapper/data_lun01p1

oracleasm createdisk DATA_DISK02 /dev/mapper/data_lun02p1

oracleasm createdisk DATA_DISK03 /dev/mapper/data_lun03p1

oracleasm createdisk DATA_DISK04 /dev/mapper/data_lun04p1

oracleasm createdisk DATA_DISK05 /dev/mapper/data_lun05p1

oracleasm createdisk DATA_DISK06 /dev/mapper/data_lun06p1

oracleasm createdisk FRA_DISK01 /dev/mapper/fra_lun01p1

oracleasm createdisk FRA_DISK02 /dev/mapper/fra_lun02p1

oracleasm createdisk FRA_DISK03 /dev/mapper/fra_lun03p1

oracleasm createdisk FRA_DISK04 /dev/mapper/fra_lun04p1

oracleasm createdisk FRA_DISK05 /dev/mapper/fra_lun05p1

oracleasm createdisk FRA_DISK06 /dev/mapper/fra_lun06p1

查看创建的Disks：

oracleasm listdisks

ACFS_DISK01
ACFS_DISK02
DATA_DISK01
DATA_DISK02
DATA_DISK03
DATA_DISK04
DATA_DISK05
DATA_DISK06
FRA_DISK01
FRA_DISK02
FRA_DISK03
FRA_DISK04
FRA_DISK05
FRA_DISK06
OCRVD_DISK01
OCRVD_DISK02
OCRVD_DISK03

2）扫描已经创建的ASM Disks，在其它节点上进行操作：

oracleasm scandisks

Reloading disk partitions: done
Cleaning any stale ASM disks...
Scanning system for ASM disks...
Instantiating disk "OCRVD_DISK01"
Instantiating disk "OCRVD_DISK02"
Instantiating disk "OCRVD_DISK03"
Instantiating disk "DATA_DISK03"
Instantiating disk "DATA_DISK04"
Instantiating disk "DATA_DISK05"
Instantiating disk "DATA_DISK06"
Instantiating disk "FRA_DISK01"
Instantiating disk "FRA_DISK02"
Instantiating disk "FRA_DISK03"
Instantiating disk "FRA_DISK04"
Instantiating disk "FRA_DISK05"
Instantiating disk "FRA_DISK06"
Instantiating disk "ACFS_DISK01"
Instantiating disk "ACFS_DISK02"
Instantiating disk "DATA_DISK01"
Instantiating disk "DATA_DISK02"

oracleasm listdisks

ACFS_DISK01
ACFS_DISK02
DATA_DISK01
DATA_DISK02
DATA_DISK03
DATA_DISK04
DATA_DISK05
DATA_DISK06
FRA_DISK01
FRA_DISK02
FRA_DISK03
FRA_DISK04
FRA_DISK05
FRA_DISK06
OCRVD_DISK01
OCRVD_DISK02
OCRVD_DISK03

注：在其它节点上扫描可能无法正确识别所有ASM Disks，则需要重启下OS。

3.2 删除ASM Disk
1）确认要删除的ASM Disk没有被任何DG所使用；

2）在节点一（或任一节点）上，运行如下命令删除ASM Disk标签：

oracleasm deletedisk

3）重新扫描ASM Disks，在其它节点上进行操作：

oracleasm scandisks

4 管理ASM DG
4.1 创建DG
1）参考“2 配置多链路和LUN”配置好LUN名称及分区；
2）参考“3.1 创建ASM Disk”创建好ASM Disks；
3）创建DG，使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

4）点击“ASM Instances”标签，查看各个节点的ASM Instances状态，如下表示正常：

5）点击“Disk Groups”标签，OCRVD_DG在GI安装时已经自动创建好：

6）点击“Create”按钮，创建ACFS_DG，Redundancy选择“External”，再勾选所有的ACFS_DISKXX：

7）点击“Create”按钮，创建DATA_DG，Redundancy选择“External”，再勾选所有的DATA_DISKXX：

8）点击“Create”按钮，创建FRA_DG，Redundancy选择“External”，再勾选所有的FRA_DISKXX：

9）所有已创建的DG状态如下：

10）参考“4.5.1 Metadata的备份”将所有DG的metadata进行备份到节点一上的“/oracle_grid/app/metadata/ALL_DG_date +%Y%m%d%H%M%S” 文件中。

4.2 删除DG
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）点击“Disk Groups”标签，在要删除的DG上点击右键，点击“Drop”：

3）点击“Yes”确认：

4）参考“4.5.1 Metadata的备份”将所有DG的metadata进行备份到“/oracle_grid/app/metadata/ALL_DG_date +%Y%m%d%H%M%S” 文件中。

5）参考“3.2 删除ASM Disk”将该DG中的ASM Disks标签删除；

6）在机器上删除对应的LUN并安排存储回收。

4.3 在DG中新增磁盘
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）点击“Disk Groups”标签，在要添加磁盘的DG上点击右键，点击“Add Disks”：

3）勾选要增加的ASM Disks，点击“OK”：

4）参考“4.5.1 Metadata的备份”将所有DG的metadata进行备份到“/oracle_grid/app/metadata/ALL_DG_date +%Y%m%d%H%M%S” 文件中。

4.4 在DG中删除磁盘
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）点击“Disk Groups”标签，在要删除磁盘的DG上点击右键，点击“Drop Disks”：

3）勾选要删除的磁盘，点击“OK”：

4）参考“4.5.1 Metadata的备份”将所有DG的metadata进行备份到“/oracle_grid/app/metadata/ALL_DG_date +%Y%m%d%H%M%S” 文件中。

5）参考“3.2 删除ASM Disk”将从DG中删除的ASM Disks标签删除；

6）在机器上删除对应的LUN并安排存储回收。

4.5 DG Metadata的备份与恢复
4.5.1 Metadata的备份
1）使用grid用户登陆节点一，运行asmcmd命令：
$ mkdir -p /oracle_grid/app/metadata/
$ export FILE=/oracle_grid/app/metadata/ALL_DG_date +%Y%m%d%H%M%S

备份所有DG的Metadata：

$ asmcmd md_backup $FILE

备份某一DG的Metadata：

$ asmcmd md_backup $FILE -G DATA_DG

4.5.2 Metadata的恢复
1）使用grid用户登陆节点一，运行asmcmd命令：

DG不存在情况下使用如下命令进行恢复：

$ asmcmd md_restore --full -G data --silent $FILE

DG存在情况下使用如下命令进行恢复：

$ asmcmd md_restore --nodg -G data --silent $FILE

5 管理ASM ACFS
5.1 新建ACFS
1）参考“4.1 创建DG”创建好ACFS_DG；

2）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

3）选择“Volumes”标签，点击“Create”创建ASM Volume：

4）输入Volume Name为“_lv”，选择Disk Group Name为“ACFS_DG”，并按实际要求输入Volume大小，点击“OK”：

5）选择“ASM Cluster File Systems”标签，点击“Create”创建ACFS：

6）在Volume中选择前面创建的卷，选择类型为“Database Home System”，在Database Home Mountpoint中输入Oracle Home的挂载点为“/testdb///data”，在Database Home Owner Name中输入DB用户名，在Database Home Owner Group中输入“oinstall”，点击“OK”：

6）按提示在节点一上使用root用户创建Oracle Home的挂载点，并运行acfs_script.sh脚本：

mkdir -p /testdb/hq/testdb11/data

/oracle_grid/app/oracle/cfgtoollogs/asmca/scripts/acfs_script.sh

ACFS file system is running on cnsh230244,cnsh230245

7）创建完成，检查所有节点上是否已经自动挂载上该卷，并且权限是否正确（Owner是DB用户，Group是oinstall）：

df -h

……
/dev/asm/testdb11_lv-2

                   10G   85M   10G   1% /testdb/hq/testdb11/data

ll -d /testdb/hq/testdb11/data/

drwxr-xr-x 2 ostestdb11 oinstall 4096 Aug 11 15:28 /testdb/hq/testdb11/data/

5.2 删除ACFS
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）选择“ASM Cluster File Systems”标签，在要删除的ACFS卷上点击右键，选择“Show Dismount Command”：

3）按提示使用root用户登陆节点一，运行如下的命令：

/oracle_grid/11.2.0/grid/bin/srvctl stop filesystem -d /dev/asm/testdb11_lv-90

完成后State变成“DISMOUNTED”状态：

4）选择“ASM Cluster File Systems”标签，在要删除的ACFS卷上点击右键，选择“Delete”：

5）按提示使用root用户登陆节点一，运行如下的命令：

/oracle_grid/11.2.0/grid/bin/srvctl remove filesystem -d /dev/asm/testdb11_lv-90

6）使用grid用户登陆节点一，运行asmcmd命令：
$ asmcmd
ASMCMD> voldelete -G ACFS_DG testdb11_lv

7）重新运行asmca工具，可以看到testdb11_lv卷已经成功删除。

5.3 扩展ACFS
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）选择“ASM Cluster File Systems”标签，在要扩展的ACFS卷上点击右键，选择“Resize”：

3）输入扩展后ACFS卷的大小，点击“OK”：

5.4 缩小ACFS
1）使用grid用户登陆节点一，运行asmca工具：
$ export DISPLAY=10.11.77.32:X #请使用ReflectionX 14.0版本，“X”需根据实际情况修改。
$ asmca

RefectionX 14.0的使用方法：
1、打开RefectionX 14.0界面：登陆Terminal 10.11.77.32，点击“Start”?“All Programs”?“Attachmate Reflection”?“Reflection X”；
2、打开Display：在RefectionX 14.0界面中，点击“Settings”?“Display...”，在弹出的界面中记录“x display number..........”后面的数字(X)，点击“OK”；
3、设置DISPLAY变量：主机上的设置命令为“export DISPLAY=10.11.77.32:X”，“X”需根据实际记录的数字修改。

2）选择“ASM Cluster File Systems”标签，在要缩小的ACFS卷上点击右键，选择“Resize”：

3）输入缩小后ACFS卷的大小，点击“OK”：

6 参考文档
6.1 Oracle Automatic Storage Management Administrator's Guide 11g Release 2