川大ATC实验平台手册

一、  刀箱管理

1、(实验室c7000刀箱紫光华山8008102058报修S/N:6CU633XX51)

OA:  https://168.192.11.200/

U ser:Administrator

PW:XQKXKEU6

VC:

U ser:Administrator

PW:X7MJ8MW9

Bay1: (CPU E5-2620 v4)

Vsphere:168.192.11.247

User:root

PW:1234567

 

Bay4: (CPU E5-2620 v4)

Vsphere:168.192.11.246

User:root

PW:1234567

 

Bay6: (CPU E5-2620 v3)

Vsphere:168.192.11.250

User:root

PW:1234567

 

Bay9: (CPU E5-2620 v3)

Vsphere:168.192.11.249

User:root

PW:1234567

 

Bay12: (CPU E5-2620 v4)

Vsphere:168.192.11.245

User:root

PW:1234567

vSphere Web Client:

vCenter:168.192.11.248

User:    administrator@vcenter.local

PW:     !Root123

VMware vCenter Server Appliance：

User:    root

PW:     !Root123

*:该虚拟机迁移move后，需检查网络适配器连接到“Net-A-VMport”，且“设备状态” 勾选“已连接”，否则网络不通！

浏览器	iLO ：Web 管理	集成远程控制台	远程控制台	vSphere Web Client
谷歌Chrome55.0	Y	N	N	Y
百度6.5	Y	N	N
IE8	N	Y	N
360 安全浏览器7.1	N	N	N
360 安全浏览器10/12	Y	Y	Y
搜狗高速浏览器7				Y

1) Web管理:访问iLO Web用户界面。

2) 集成远程控制台 : 从单个控制台中访问系统 KVM 以及控制虚拟电源 。

3) 远程控制台 :  从远程控制台中访问系统 KVM ,  需Java 虚拟机运行时环境(JRE)。

2、安装 VMware-VMvisor-Installer-6.0.0-2159203.x86_64 失败，提示nfsclient失败、未找到网卡。

——重新设置网卡且保证链接网线：一个网卡连接到N e tA（Uplink是VC1 的PORT5口，启动UEFI识别），并配置能检测的网线连接状态的选项后再试。

https://168.192.11.248/applmgmt/support-bundle

das.ignoreinsufficienthbdatastore   true      

// 假如有两个共享存储，不需要。 否则提示：“该主机的vSphere HA 检测信号数据存储数目为1 ，少于要求数目：2 ”

das.ignoreRedundantNetWarning  true             // 需要！忽略管理网络冗余

3、升级OA/VC笔记
2017/3/24 升级OA/VC前：

2017/3/24 升级OA/VC后：

二、   vMotion 配置

ATC Cluster	vSwitch1-vmk1 （ TCP/IP堆栈： vMotion ）	vSwitch1-VMk2 （ FT ）
168.192.11.245	168.192.11.104	10.1.1 .245
168.192.11.246	168.192.11.103	10.1.1 .246
168.192.11.247	168.192.11.102	10.1.1 .101
168.192.11.249	168.192.11.101	10.1.1 .200
168.192.11.250	168.192.11.100	10.1.1 .100

三、3PAR存储

(实验室3PAR 7200 c 紫光华山8008103860报修S/N:7CE616P46H)

License key was generated on Mon Apr 18 18:54:03 2016

l  System is licensed for 8 disks.

License features currently enabled:

l  3PAR OS Suite

l  Adaptive Flash Cache

l  Thin Copy Reclamation

l  Thin Deduplication

规划信息：Controller Node的IP；Service Processor的IP（同一网段）；

参考（ http://www.docin.com/p-613843256.html ）

3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。

*前面2个步骤是对3PAR进行初始化：

1、 OOTB :  (Out-of-the-Box 针对3PAR Controller Node初始化 ) 设置和配置存储系统软件（数据会完全丢失）：在串行端口上使用针对便携式计算机的灰色适配器  (PN 180-0055) 连接到控制器节点  M fg端口(使用直连网线)。使用 PuTTY 的串口模式，波特率设置为 “57600” ， 使用用户  ID ： console ，密码： cmp43pd 登录。选 1. Out Of The Box Procedure 进行OOTB初始，两个 nodes 的MGMT端口IP均为168.192.11.59（236）。假如使用用户  ID ： 3paradm 密码： 3pardata 登录就是对应 HP 3PAR Management Console 4.7.0 ( 简称 IMC) 的命令行方式，可以对 3par StoreServ 进行管理和操作，关机命令：shutdownsys halt/reboot。

2、MOB：（针对Service Processor初始化，以后用来Troubleshooting和Replace 3par的管理工具）首先将 3PAR_Virt_SP_4.4_MU2_Vmware_ESX_SW_QR482-11093( 简称 VSP, 提供 VMware &   Hyper-V 两种虚拟版本 ) ，通过“部署OVF模板”方式导入到vSphere ESXi，启动后 SP00000 login: root ，密码为空，登陆进行 Service Processor Moment of Birth 任务。

*步骤3是初始化之后的配置：

3、登陆 HP 3PAR Management Console 4.7.0 （ ID ： 3paradm 密码： 3pardata ）：

HP 3PAR 存储将一台主机看作一系列光纤卡 WWN(World Wide Names) 或是 iSCSI Name 的组合。物理上连接到存储端口上的主机会被自动检测到。 Fibre Channel over Ethernet (FCoE) 连接方式在   HP 3PAR StoreServ 10000 Storage systems   和 HP 3PAR StoreServ 7000 Storage systems 通过 Converged Network Adapters (CNA) 支持。
    首先配置FC Ports；对端刀箱VC配置SAN Fabrics，Tpye：DirectAttach。“Port Status”状态为NO LOGGED时通过如下操作解决。

通过以下命令将 3PAR 端口改成 point 测试，端口状态变为LOGGED-IN

controlport offline 0:1:1

controlport config host -ct point 0:1:1

controlport rst 0:1:1

图1、端口状态变为LOGGED-IN

3.1创建CPG（Common Provisioning Group），Availability必需设为“盘盒”即:Magazine(Lower)。另：选RAID5(3data/1parity)，因为是8块硬盘，硬盘数应能被8和2整除，否则报错。 CPG其实就是一个虚拟的池，刚开始里面啥也没有，只有策略（这些策略就是上面的各种参数，如RAID级别啦，set size, step size，哪些硬盘，哪种硬盘啦等等）。当LUN需要空间的时候，通过CPG策略，可以生成符合策略的LD(Logical Disks)，然后再从LD里分配空间给VLUN。

3.2创建VV(Virtual Volume)，创建后空间只能增加不能缩小， 增加空间原有数据不受 影响，删除VV再创建需等存储释放空间后进行，使用ssh登陆，通过命令：

    The following example displays chunklet (条块)  use information for all disks:

      cli% showpd –c  

查看 Uninit 降为0再创建VV，否则未释放的空间不可用。CPG只是创建规则例如RAID级别等，创建VV时按照CPG的规则实际分配并格式化空间。

3.3创建HOST，Host OS：ESX 4x/5x。假如ESXi（HP定制的ESXi VMware-ESXi-6.0.0-2494585-HP-600.9.1.39-Mar2015 测试OK，否则得不到WWN号）安装了兼容的网卡驱动（因为使用FCoE），“Available WWNs”会显示可用WWNs，指定到Assigned WWNs。

[root@ ESXi-6.0.0 :~] dmesg |grep Broadcom        //OK for VMware ESXi 6.0.0 2494585

<6>Broadcom NetXtreme II CNIC Registration Agent cnic_register v1.710.30.v55.1 (June 25, 2014)

<6>Broadcom NetXtreme II 5771x/578xx 10/20-Gigabit Ethernet Driver bnx2x 2.710.39.v55.2 ($DateTime: 2014/07/15  3:37:42 $)

<6>Broadcom NetXtreme II CNIC Driver cnic v2.710.35.v55.5 (July 15, 2014)

<6>Broadcom NetXtreme II iSCSI Driver bnx2i v2.710.30.v55.4 (Jun 25, 2014)

<6>bnx2fc: Broadcom NetXtreme II FCoE Driver bnx2fc v1.710.35.v55.7  (Sep 30, 2014)

2017-08-11T00:59:37.074Z cpu16:33210)WARNING: LinScsiLLD: scsi_add_host:573: vmkAdapter (Broadcom Offload FCoE Initiator) sgMaxEntries rounded to 255. Reported size was 256

2017-08-11T00:59:41.645Z cpu6:33238)WARNING: LinScsi: SCSILinuxQueueCommand:1207: queuecommand failed with status = 0x1055 Host Busy vmhba33:0:0:0 (driver name: Broadcom Offload FCoE Initiator ) - Message repeated 1 time

注： 版本高了也不行，例如 v1.713.20.v60.4 版本的ESXi找不到FCoE存储。

[root@localhost:~] dmesg |grep QLogic      //NoOK for VMware ESXi 6.0.0 3620759和 Update3-5224934

<6>QLogic CNIC Registration Agent cnic_register v1.713.10.v60.1 (September 28, 2015)

<6>bnx2fc: QLogic 10 Gigabit ESX Ethernet FCoE Driver bnx2fc v1.713.20.v60.4 (Oct 16, 2014)

图2、 ESXi 驱动正常会显示“以太网光纤通道”

虚拟卷由 CPG 中抽取资源，并且对主机映射为 logical unit numbers(LUNs) 。虚拟卷是唯一对主机可见的数据层。 可以为虚拟卷生成物理拷贝或是快照，如果原始的虚拟卷不可用时，仍能继续工作。
3.4分配VV虚拟磁盘：把VV Map给主机HOST（VLUN: 一个VLUN其实是由无数的LD组成，每个LD都是有归属的）。 为了让主机访问到一个虚拟卷，这个卷必须被映射成为一个 LUN.   通过生成虚拟卷 -LUN 对 Volume-LUN pairings (VLUNs) 来进行卷的映射。

图3、Map后 ESXi 显示该存储“ATC-SPACE”

* Troubleshooting：

1、日志收集：用附件的 putty 工具，设置一下 logging session ，然后用 ssh 方式登录到 vcm 在命令行下输入： show all * ，然后再回到 logging s e ssion 所设置的文件夹，找到生成的 log 。
2、3par存储修改HOST的名称，不会影响ESXi使用该存储，VLUN映射从单主机改为主机组也不影响。

3、 运行VCSA的主机168.192.11.246提示VMware ESX许可证已到期，重新输入许可证OK: MV62H-AT20K-9Z280-DK2N0-9AVKZ

4、*** ESXi 6.0 主机上的虚拟机操作失败，并显示错误： 指定的设备不是有效物理磁盘设备

( https://kb.vmware.com/articleview?docid=2113450&lang=zh_CN)

  要解决此问题，请将暂存位置参数配置为指向 ESXi 主机上作为 本地数据存储的子文件夹的目录 。在任何情况下，暂存目录和虚拟机目录都必须位于单独的子目录树中，并且永远不得将暂存目录定义为包含虚拟机的数据存储的基本目录。
例如：
将 ScratchConfig.ConfiguredScratchLocation 设置为 /vmfs/volumes/datastore1/scratch，而不能设置为 /vmfs/volumes/datastore1。

有关配置持久 scratch 分区的详细信息，请参见  Creating a persistent scratch location for ESXi 4.x/5.x/6.0 (1033696)。 https://kb.vmware.com/s/article/1033696

5、 提示“ WMware ESX 许可证已到期”，重新输入序列号后应该 OK ；另通过恢复 VCSA 的 VMDK 硬盘，恢复 VCSA 后， ATC Cluster 中主机报错， VCSA 和主机通信有问题， vSphere HA 有问题，右键“重新配置 vSphere HA ”不能恢复，需要关闭该主机（否则移除不了），右键“从清单中移除”该主机，然后右键“添加主机” OK 。

6、禁用4个FT虚拟机的 限制设置：

   das.maxFtVmsPerHost  0

   das.maxFtVCpusPerHost  0

2017/11/2