2. 科技
    3. HBase（二）CentOS7.5搭建HBase1.2.6HA集群

    HBase（二）CentOS7.5搭建HBase1.2.6HA集群

    科技2022-07-21  142

    一、安装前提

    1、HBase 依赖于 HDFS 做底层的数据存储

    2、HBase 依赖于 MapReduce 做数据计算

    3、HBase 依赖于 ZooKeeper 做服务协调

    4、HBase源码是java编写的，安装需要依赖JDK

    1、版本选择

    打开官方的版本说明http://hbase.apache.org/1.2/book.html

    JDK的选择

    Hadoop的选择

    此处我们的hadoop版本用的的是2.7.6，HBase选择的版本是1.2.6

    2、下载安装包

    官网下载地址：http://archive.apache.org/dist/hbase/

    3、完全分布式部署

    默认情况下，HBase以独立模式运行。提供独立模式和伪分布模式都是为了进行小规模测试。

    对于生产环境，分布式模式是合适的。在分布式模式下，HBase守护程序的多个实例在群集中的多个服务器上运行。

    节点IP 节点名称MasterBackupMasterRegionServerZookeeperHDFS192.168.100.21node21√ √ √ √192.168.100.22node22 √√√ √192.168.100.23node23  √√ √

    Zookeeper集群安装参考：CentOS7.5搭建Zookeeper3.4.12集群

    Hadoop集群安装参考：CentOS7.5搭建Hadoop2.7.6完全分布式集群

    二、HBase的集群安装

    安装过程参考官方文档：http://hbase.apache.org/1.2/book.html#standalone_dist

    1、上传解压缩

    解压 HBase 到指定目录：

    [admin@node21 software]$ tar zxvf hbase-1.2.6-bin.tar.gz -C /opt/module/

    2、修改配置文件

    配置文件在/opt/module/hbase-1.2.6/conf目录下

    hbase-env.sh 修改内容：

    export JAVA_HOME=/opt/module/jdk1.8 export HBASE_MANAGES_ZK=false

    hbase-site.xml 修改内容： 

    <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://mycluster/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> </property> <property> <name>hbase.zookeeper.quorum</name> <value>node21,node22,node23</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/opt/module/zookeeper-3.4.12/Data</value> </property> </configuration>

    region servers修改内容： 

    node21 node22 node23

    在 conf 目录下创建 backup-masters 文件，添加备机名 

    $ echo node22 > conf/backup-masters

    3、软连接Hadoop配置 

    [admin@node21 ~]$ ln -s /opt/module/hadoop-2.7.6/etc/hadoop/hdfs-site.xml /opt/module/hbase-1.2.6/conf/

    4、替换Hbase依赖的Jar包

    由于 HBase 需要依赖 Hadoop，所以替换 HBase 的 lib 目录下的 jar 包，以解决兼容问题：

    1) 删除原有的 jar：

    [admin@node21 ~]$ rm -rf /opt/module/hbase-1.2.6/lib/hadoop-* [admin@node21 ~]$ rm -rf /opt/module/hbase-1.2.6/lib/zookeeper-3.4.6.jar

    2) 拷贝新 jar，涉及的 jar 有： 

    hadoop-annotations-2.7.6.jar hadoop-mapreduce-client-app-2.7.6.jar hadoop-mapreduce-client-hs-plugins-2.7.6.jar hadoop-auth-2.7.6.jar hadoop-mapreduce-client-common-2.7.6.jar hadoop-mapreduce-client-jobclient-2.7.6.jar hadoop-common-2.7.6.jar hadoop-mapreduce-client-core-2.7.6.jar hadoop-mapreduce-client-shuffle-2.7.6.jar hadoop-hdfs-2.7.6.jar hadoop-mapreduce-client-hs-2.7.6.jar hadoop-yarn-api-2.7.6.jar hadoop-yarn-client-2.7.6.jar hadoop-yarn-common-2.7.6.jar hadoop-yarn-server-common-2.7.6.jar zookeeper-3.4.12.jar

    尖叫提示：这些 jar 包的对应版本应替换成你目前使用的 hadoop 版本，具体情况具体分析。 

    [admin@node21 ~]$ find /opt/module/hadoop-2.7.6/ -name hadoop-annotations*

    然后将找到的 jar 包复制到 HBase 的 lib 目录下即可。

    5、分发安装包到其他节点

    [admin@node21 ~]$ scp -r /opt/module/hbase-1.2.6/ node22:/opt/module/ [admin@node21 ~]$ scp -r /opt/module/hbase-1.2.6/ node23:/opt/module/

    6、配置环境变量

    所有服务器都有进行配置

    [admin@node21 ~]$ vi /etc/profile #HBase export HBASE_HOME=/opt/module/hbase-1.2.6 export PATH=$PATH:$HBASE_HOME/bin

    使环境变量立即生效 

    [admin@node21 ~]$ source /etc/profile

    7、同步时间

    尖叫提示： HBase 集群对于时间的同步要求的比HDFS严格，如果集群之间的节点时间不同步，会导致 region server 无法启动，抛出ClockOutOfSyncException 异常。所以，集群启动之前千万记住要进行 时间同步，要求相差不要超过 30s.

    <property> <name>hbase.master.maxclockskew</name> <value>180000</value> <description>Time difference of regionserver from master</description> </property>

    三、启动HBase集群

    严格按照启动顺序进行

    1、启动zookeeper集群

    每个zookeeper节点都要执行以下命令

    [admin@node21 ~]$ zkServer.sh start

    2、启动Hadoop集群

    如果需要运行MapReduce程序则启动yarn集群，否则不需要启动

    [admin@node21 ~]$ start-dfs.sh [admin@node22 ~]$ start-yarn.sh

    3、启动HBase集群

    保证 ZooKeeper 集群和 HDFS 集群启动正常的情况下启动 HBase 集群 启动命令：start-hbase.sh，在哪台节点上执行此命令，哪个节点就是主节点

    启动方式 1：

    [admin@node21 ~]$ start-hbase.sh starting master, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-master-node21.out node23: starting regionserver, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-regionserver-node23.out node21: starting regionserver, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-regionserver-node21.out node22: starting regionserver, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-regionserver-node22.out node22: starting master, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-master-node22.out

    启动方式 2： 

    $ hbase-daemon.sh start master $ hbase-daemon.sh start regionserver

    观看启动日志可以看到：

    （1）首先在命令执行节点启动 master

    （2）然后分别在 node21,node22,node23 启动 regionserver

    （3）然后在 backup-masters 文件中配置的备节点上再启动一个 master 主进程

    尖叫提 示： 如果使用的是 JDK8 以 上 版 本 ， 则 应 在 hbase-evn.sh 中 移除 “HBASE_MASTER_OPTS”和“HBASE_REGIONSERVER_OPTS”配置。

    4、停止HBase集群

    [admin@node21 ~]$ stop-hbase.sh

    四、验证启动是否正常

    1、检查各进程是否启动正常

     主节点和备用节点都启动 hmaster 进程，各从节点都启动 hregionserver 进程，按照对应的配置信息各个节点应该要启动的进程如下所示

    2、通过访问浏览器页面查看

    WebUI地址查看：http://node21:16010/master-status

    3、验证高可用

    干掉node21上的hbase进程，观察备用节点是否启用

    [admin@node21 ~]$ kill -9 3414

    node21界面访问失败，node22变成主节点 

    4、手动启动进程

    启动HMaster进程，当node21节点上的HMaster进程起来后又会成为备用Master，状态可通过webUI查看。

    [admin@node21 ~]$ jps 3650 HRegionServer 2677 NodeManager 2394 DFSZKFailoverController 4442 Jps 1852 DataNode 2156 JournalNode 1405 QuorumPeerMain [admin@node21 ~]$ hbase-daemon.sh start master starting master, logging to /opt/module/hbase-1.2.6/logs/hbase-admin-master-node21.out [admin@node21 ~]$ jps 3650 HRegionServer 2677 NodeManager 4485 HMaster 4630 Jps 2394 DFSZKFailoverController 1852 DataNode 2156 JournalNode 1405 QuorumPeerMain

    启动HRegionServer进程 

    $ hbase-daemon.sh start regionserver

     

    Processed: 0.012, SQL: 8