alter system set sort_area_size=104857600 scope=both sid='*';
0、 查询 iscsi 软件包是否存在
[root@wiscom1 /]#rpm -qa | grep scsi
iscsi-initiator-utils-6.2.0.873-2.el6.x86_64
scsi-target-utils-1.0.24-2.el6.x86_64
scsi-target-utils iscsi target服务工具
iscsi-initiator-utils iscsi 客户端挂载工具
补充：dd创建磁盘
[root@wiscom1 wiscom]#dd if=/dev/zero of=/wiscom/scsi_crs1 bs=2048M count=2
记录了0+2 的读入
记录了0+2 的写出
4294959104字节(4.3 GB)已复制，53.7834 秒，79.9 MB/秒
[root@wiscom1 wiscom]#dd if=/dev/zero of=/wiscom/scsi_crs2 bs=2048M count=2
记录了0+2 的读入
记录了0+2 的写出
4294959104字节(4.3 GB)已复制，59.2205 秒，72.5 MB/秒
[root@wiscom1 wiscom]#dd if=/dev/zero of=/wiscom/scsi_crs3 bs=2048M count=2
记录了0+2 的读入
记录了0+2 的写出
4294959104字节(4.3 GB)已复制，2.83001 秒，1.5 GB/秒
[root@wiscom1 wiscom]#dd if=/dev/zero of=/wiscom/scsi_data1 bs=3072M count=100
记录了0+100 的读入
记录了0+100 的写出
214747955200字节(215 GB)已复制，1655.88 秒，130 MB/秒
[root@wiscom1 wiscom]#dd if=/dev/zero of=/wiscom/scsi_data2 bs=3072M count=100
记录了0+100 的读入
记录了0+100 的写出
214747955200字节(215 GB)已复制，1655.88 秒，130 MB/秒
1、首先配置SAN存储，在storageA上yum install scsi-target-utils
vi /etc/tgt/targets.conf
blacking-store /dev/sda
write-caache off
vendor_id wh1
product cf1
initiator-address 192.168.1.2
initiator-address 192.168.1.3
initiator-address 192.168.1.4
其它两台storage做相同配置。
service tgtd start
tgt-admin --show查看共享信息
说明：
标准命名方式为：
iqn.yyyy-mm.
其中：
iqn：表示“iSCSI Qualified Name”，简称iqn。
yyyy-mm：表示年份-月份。这里是2016-02。
reversed domain name：表示倒过来的域名，这里是node3
identifier：表示识别代码，这里是 storageA.target1
backing-store对应rbd块名称为 test （/dev/rbd1 是 test被map到的本地块存储）
2、所有node节点上 yum install iscsi-initiator-utils （client端）
service iscsi start
发现iscsi存储
iscsiadm -m discovery -t st -p 192.168.1.5:3260
登录iscsi存储
iscsiadm -m node -T iqn.2012-05.com.wh:storageA.target1 -l
iscsiadm -m discovery -t st -p 192.168.1.6:3260
iscsiadm -m node -T iqn.2012-05.com.wh:storageB.target1 -l
iscsiadm -m discovery -t st -p 192.168.1.7:3260
iscsiadm -m node -T iqn.2012-05.com.wh:storageC.target1
在ABC节点上发现所有存储，并登录。
3、在节点上查看udev信息
udevinfo -ap /sys/block/sda
vi /etc/udev/rules.d/80-iscsi
SUBSYSTEM=="block",SYSFS{size}=="2048000",SYSFS{vendor}=="wh1",SYSFS{model}=="cf1",SYMLINK="iscsi/node1-disk"
使用以上5条自定义Udev规则，解决设备名称变动问题。
start_udev 启用成功后使用ll /dev/iscsi 会看到相应的链接。
4、yum install system-config-cluster 安装集群配置文件配置工具。
使用system-config-cluster配置生成配置文件
集群名称iscsi_cluster，并加入所有节点，将生成的配置文件拷至其他两台节点上。
pvcreate /dev/sda;pvcreate /dev/sdb;pvcreate /dev/sdc
vgcreate iscsi /dev/sda /dev/sdb /dev/sdc
lvcreate -l 500 -n lviscsi iscsi
5、yum install komod-gfs-xen gfs-utils
mkfs.gfs2 -t iscsi_cluster:table1 -p lock_dlm -j 3 /dev/iscsi/lviscsi
指定集群名称、锁表名称，使用分布式锁，节点日指数为3，使用gfs2文件系统。
mount -t gfs2 -o lockproto=lock_dlm /dev/iscsi/lviscsi /iscsi
挂载到本地
6、设置开机自动挂载
vi /etc/fstab
/dev/iscsi/lviscsi /iscsi gfs2 lockproto=lock_dlm 0 0
yum install lvm2-cluster
chkconfig clvmd on;lvmconf --enable-cluster;chkconfig gfs2 on
补充：
iscsi操作总结
增加iscsi存储
(1)发现iscsi存储:iscsiadm -m discovery -t st -p ISCSI_IP
(2)查看iscsi发现记录:iscsiadm -m node
(3)登录iscsi存储:iscsiadm -m node -T LUN_NAME -p ISCSI_IP -l
(4)开机自动: iscsiadm -m node –T LUN_NAME -p ISCSI_IP --op update -n node.startup -v automatic
删除iscsi存储
(1)登出iscsi存储 iscsiadm -m node -T LUN_NAME -p ISCSI_IP -u
(2)对出iscsi所有登录 iscsiadm -m node --logoutall=all
(3)删除iscsi发现记录:iscsiadm -m node -o delete -T LUN_NAME -p ISCSI_IP
登入需验证码的节点
(1)开启认证
iscsiadm -m node -T LUN_NAME -o update --name node.session.auth.authmethod --value=CHAP
*.使用-o同--op
(2)添加用户
iscsiadm -m node -T LUN_NAME --op update --name node.session.auth.username --value=[用户名]
(3)添加密码
iscsiadm –m node –T LUN_NAME –op update –name node.session.auth.password –value=[密码]