ORA-29701: unable to connect to Cluster Synchronization Service

  • warren20

    2015-04-13 23:35:44
  • Oracle
  • 原创
    今天实验环境遇到一个奇怪的问题，之前启动机器的时候，ASM实例和数据库实例都是自动自动，今天没有自动启动（可能跟我上次关机之前关闭了数据库实例和ASM实例有关）。
    在今天启动完服务器后，发现ASM实例和数据库实例没有启动。
  1. [oracle@LINUX10 ~]$ ps -ef|grep ASM
  2. oracle 2299 2096 0 22:17 pts/0 00:00:00 grep ASM
     于是启动ASM实例
  1. [oracle@LINUX10 ~]$ echo $ORACLE_SID
  2. +ASM
  3. [oracle@LINUX10 ~]$ sqlplus / as sysasm

  5. SQL*Plus: Release 11.2.0.3.0 Production on Mon Apr 13 22:17:46 2015

  7. Copyright (c) 1982, 2011, Oracle. All rights reserved.

  9. Connected to an idle instance.

  11. SQL> startup
  12. ORA-01078: failure in processing system parameters
  13. ORA-29701: unable to connect to Cluster Synchronization Service
  14. SQL> exit
上面提示说无法连接到 css 服务。

step1：看看css服务是否启动
  1. [oracle@LINUX10 ~]$ crsctl check css
  2. CRS-4530: Communications failure contacting Cluster Synchronization Services daemon
果然没有CSS的服务daemon进程。

step2：看一下HAS(High Availability Service)的状态
  1. [oracle@LINUX10 ~]$ crsctl check has
  2. CRS-4638: Oracle High Availability Services is online
step3：在来看看相关的资源的情况
  1. [oracle@LINUX10 ~]$ crs_stat -t
  2. Name             Type             Target  State    Host
  3. ------------------------------------------------------------
  4. ora.DATA.dg      ora....up.type   OFFLINE OFFLINE
  5. ora.DGROUPA.dg   ora....up.type   OFFLINE OFFLINE
  6. ora....ER.lsnr   ora....er.type   ONLINE  ONLINE   linux10
  7. ora.asm          ora.asm.type     OFFLINE OFFLINE
  8. ora.cssd         ora.cssd.type    ONLINE  OFFLINE
  9. ora.diskmon      ora....on.type   OFFLINE OFFLINE
  10. ora.evmd         ora.evm.type     ONLINE  ONLINE   linux10
  11. ora.ons          ora.ons.type     OFFLINE OFFLINE
  12. ora.orcl.db      ora....se.type   OFFLINE OFFLINE
  1. [oracle@LINUX10 ~]$ crsctl status resource -t
  2. --------------------------------------------------------------------------------
  3. NAME                 TARGET      STATE     SERVER      STATE_DETAILS
  4. --------------------------------------------------------------------------------
  5. Local Resources
  6. --------------------------------------------------------------------------------
  7. ora.DATA.dg          
  8.                      OFFLINE     OFFLINE   linux10 
  9. ora.DGROUPA.dg       
  10.                      OFFLINE     OFFLINE   linux10 
  11. ora.LISTENER.lsnr    
  12.                      ONLINE      ONLINE    linux10 
  13. ora.asm              
  14.                      OFFLINE     OFFLINE   linux10     Instance Shutdown 
  15. ora.ons              
  16.                      OFFLINE     OFFLINE   linux10 
  17. --------------------------------------------------------------------------------
  18. Cluster Resources
  19. --------------------------------------------------------------------------------
  20. ora.cssd      
  21.                   1 ONLINE       OFFLINE 
  22. ora.diskmon
  23.                   1 OFFLINE      OFFLINE
  24. ora.evmd
  25.                   1 ONLINE       ONLINE    linux10
  26. ora.orcl.db
  27.                   1 OFFLINE      OFFLINE                Instance Shutdown 
step4:再看一下ora.cssd和ora.diskmon的属性
  1. [oracle@LINUX10 ~]$ crs_stat -p ora.cssd
  2. NAME=ora.cssd
  3. TYPE=ora.cssd.type
  4. ACTION_SCRIPT=
  5. ACTIVE_PLACEMENT=0
  6. AUTO_START=never
  7. CHECK_INTERVAL=30
  8. DESCRIPTION="Resource type for CSSD"
  9. FAILOVER_DELAY=0
  10. FAILURE_INTERVAL=3
  11. FAILURE_THRESHOLD=5
  12. HOSTING_MEMBERS=
  13. PLACEMENT=balanced
  14. RESTART_ATTEMPTS=5
  15. SCRIPT_TIMEOUT=600
  16. START_TIMEOUT=600
  17. STOP_TIMEOUT=900
  18. UPTIME_THRESHOLD=1m
  1. [oracle@LINUX10 ~]$ crs_stat -p ora.diskmon
  2. NAME=ora.diskmon
  3. TYPE=ora.diskmon.type
  4. ACTION_SCRIPT=
  5. ACTIVE_PLACEMENT=0
  6. AUTO_START=never
  7. CHECK_INTERVAL=3
  8. DESCRIPTION="Resource type for Diskmon"
  9. FAILOVER_DELAY=0
  10. FAILURE_INTERVAL=3
  11. FAILURE_THRESHOLD=5
  12. HOSTING_MEMBERS=
  13. PLACEMENT=balanced
  14. RESTART_ATTEMPTS=10
  15. SCRIPT_TIMEOUT=60
  16. START_TIMEOUT=600
  17. STOP_TIMEOUT=60
  18. UPTIME_THRESHOLD=5s
上面两个资源的 AUTO_START 属性设置为了never， 所以不会随has自动启动。需要手动先启动起来

step5：手动启动ora.cssd
  1. [oracle@LINUX10 ~]$ crsctl start resource ora.cssd
  2. CRS-2672: Attempting to start 'ora.cssd' on 'linux10'
  3. CRS-2672: Attempting to start 'ora.diskmon' on 'linux10'
  4. CRS-2676: Start of 'ora.diskmon' on 'linux10' succeeded
  5. CRS-2676: Start of 'ora.cssd' on 'linux10' succeeded
step6：在来看看相关资源的情况
  1. [oracle@LINUX10 ~]$ crs_stat -t
  2. Name             Type             Target      State    Host
  3. ------------------------------------------------------------
  4. ora.DATA.dg      ora....up.type   OFFLINE     OFFLINE
  5. ora.DGROUPA.dg   ora....up.type   OFFLINE     OFFLINE
  6. ora....ER.lsnr   ora....er.type   ONLINE      ONLINE   linux10
  7. ora.asm          ora.asm.type     OFFLINE     OFFLINE
  8. ora.cssd         ora.cssd.type    ONLINE      ONLINE   linux10
  9. ora.diskmon      ora....on.type   OFFLINE     OFFLINE
  10. ora.evmd         ora.evm.type     ONLINE      ONLINE   linux10
  11. ora.ons          ora.ons.type     OFFLINE     OFFLINE
  12. ora.orcl.db      ora....se.type   OFFLINE     OFFLINE
可以看到， ora.cssd已经启动， 但是ora.diskmon没有启动，通过查相关的文档，发现
    原来在11.2.0.3版本的非Exadata数据库上，diskmon的服务是被disable掉的，由于在之前的版本中ora.diskmon和ora.cssd服务是互相依赖的，及这两个服务中随便停止那个两个都会停止，同样的随便启动那个两个都会启动

step7：启动ASM实例
  1. [oracle@LINUX10 ~]$ sqlplus / as sysasm

  3. SQL*Plus: Release 11.2.0.3.0 Production on Mon Apr 13 22:29:51 2015

  5. Copyright (c) 1982, 2011, Oracle. All rights reserved.

  7. Connected to an idle instance.

  9. SQL>
  10. SQL>
  11. SQL> startup
  12. ASM instance started

  14. Total System Global Area 283930624 bytes
  15. Fixed Size         2227664 bytes
  16. Variable Size         256537136 bytes
  17. ASM Cache         25165824 bytes
  18. ASM diskgroups mounted
  19. SQL> exit

stp8：ASM实例启动后，再看看资源情况
  1. [oracle@LINUX10 ~]$ crs_stat -t
  2. Name            Type             Target  State   Host
  3. ------------------------------------------------------------
  4. ora.DATA.dg     ora....up.type   ONLINE  ONLINE  linux10
  5. ora.DGROUPA.dg  ora....up.type   ONLINE  ONLINE  linux10
  6. ora....ER.lsnr  ora....er.type   ONLINE  ONLINE  linux10
  7. ora.asm         ora.asm.type     ONLINE  ONLINE  linux10
  8. ora.cssd        ora.cssd.type    ONLINE  ONLINE  linux10
  9. ora.diskmon     ora....on.type   OFFLINE OFFLINE
  10. ora.evmd        ora.evm.type     ONLINE  ONLINE  linux10
  11. ora.ons         ora.ons.type     OFFLINE OFFLINE
  12. ora.orcl.db     ora....se.type   OFFLINE OFFLINE

step9：启动数据实例并查看资源情况
  1. [oracle@LINUX10 ~]$ echo $ORACLE_SID
  2. orcl
  3. [oracle@LINUX10 ~]$ sqlplus / as sysdba

  5. SQL*Plus: Release 11.2.0.3.0 Production on Mon Apr 13 23:21:24 2015

  7. Copyright (c) 1982, 2011, Oracle. All rights reserved.

  9. Connected to an idle instance.

  11. SQL>
  12. SQL>
  13. SQL> startup
  14. ORACLE instance started.

  16. Total System Global Area 839282688 bytes
  17. Fixed Size         2233000 bytes
  18. Variable Size         524291416 bytes
  19. Database Buffers     310378496 bytes
  20. Redo Buffers         2379776 bytes
  21. Database mounted.
  22. Database opened.
  23. SQL>

  1. [oracle@LINUX10 ~]$ crs_stat -t
  2. Name            Type            Target   State    Host
  3. ------------------------------------------------------------
  4. ora.DATA.dg     ora....up.type  ONLINE   ONLINE   linux10
  5. ora.DGROUPA.dg  ora....up.type  ONLINE   ONLINE   linux10
  6. ora....ER.lsnr  ora....er.type  ONLINE   ONLINE   linux10
  7. ora.asm         ora.asm.type    ONLINE   ONLINE   linux10
  8. ora.cssd        ora.cssd.type   ONLINE   ONLINE   linux10
  9. ora.diskmon     ora....on.type  OFFLINE  OFFLINE
  10. ora.evmd        ora.evm.type    ONLINE   ONLINE   linux10
  11. ora.ons         ora.ons.type    OFFLINE  OFFLINE
  12. ora.orcl.db     ora....se.type  ONLINE   ONLINE   linux10

补充知识：

  1. 1)默认情况下HAS(High Availability Service)是自动启动的.通过如下命令可以取消和启用自动启动
  2.        crsctl disable has
  3.        crsctl enable has
  4. 2)HAS手动启动和停止
  5.        crsctl start has
  6.        crsctl stop has
  7. 3)查看HAS的状态
  8.         crsctl check has
  9. 4)如果想让ora.css和ora.diskmon服务随着HAS的启动而自动启动，那么你可以这两个服务的AUTO_START属性
  10.         crsctl modify resource "ora.cssd" -attr "AUTO_START=1"
  11.         or
  12.         crsctl modify resource "ora.diskmon" -attr "AUTO_START=1"
  13. 5)如果想取消ora.css和ora.diskmon的Auto start
  14.         crsctl modify resource "ora.cssd" -attr "AUTO_START=never"
  15.         crsctl modify resource "ora.diskmon" -attr "AUTO_START=never"

参照文档：
http://blog.csdn.net/rgb_rgb/article/details/7937928
http://blog.sina.com.cn/s/blog_70a2bdb80100xdth.html
请使用浏览器的分享功能分享到微信等