HBase的容错性介绍和总结

  • Master容错:zookeeper重新选择一个新的Master
– 无Master的过程中,数据读取仍照常进行,
– 无Master过程中,region的切分,负载均衡等无法进行
  • RegionServer容错:定时向zookeeper汇报心跳,
– 如果一段时间内未出现心跳,Master将该RegionServer上的Region重新分配到其它RegionServer上,
– 失效服务器上‘预写’日志由Master进行分割并派送给新的RegionServer
  • Zookeeper容错:Zookeeper高可靠的服务,不存在单点故障
通过Web UIs监控Hadoop和Hbase集群
所有Hadoop和Hbase进程都包含Web server
– 通过公开的端口提供信息
– 具体的信息类型和内容由各进程指定
  • Hbase一些重要的端口:
– HBase Master http://:16010
– RegionServer http://:16020
– (0.98)HBase Master http://:60010
– (0.98)RegionServer http://:60030
  • NameNode的端口
– NameNode http://:50070
通过日志文件诊断问题
所有日志默认情况下都写到/var/log/hbase目录下
  • 可以通过进程的Web接口访问查看日志文件
  • 可以通过Web接口动态设置日志级别
使用日志文件可以诊断主要问题
  • Thrift and REST 错误仅记录在日志文件中,不会发送给客户端

总结
  • 表通过row key拆分成region
  • 表拆分成regions并且由RegionServers管理
  • HMaster负责协调管理RegionServers
  • HDFS和ZooKeeper为Hbase提供高可用(HA)
  • hbase:meta用于找到哪个RegionServer服务管理哪些region和region的起止rowkey

请使用浏览器的分享功能分享到微信等