这篇博客就继续接着说如何在虚拟机中安装及配置hive和hbase

Ⅰ，相关组件（附带下载链接）

hadoop生态圈还有很多的组件。例如Spark,Hbase,hive等等，因为篇幅问题，这些软件在此处不介绍，给出下载链接，其余的安装教程将会在其余的博客给出,(本文需要使用链接中的mysql驱动，hbase和hive，zookeepear将其安装包上传到root目录)

集群组件下载链接 密码：zccy

Ⅱ，安装hive

一，解压hive源文件并改名

tar -xvf /root/apache-hive-2.3.6-bin.tar.gz mv apache-hive-2.3.6-bin ./hive

二，下载mysql源(需要联网)

下载mysql源

wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

安装mysql源（有时需要执行两次，注意信息）

yum localinstall mysql57-community-release-el7-8.noarch.rpm

检查mysql源是否安装成功

yum repolist enabled | grep "mysql.*-community.*"

安装mysql

yum remove mariadb-server yum install mysql-community-server

启动MySQL服务

systemctl start mysqld

查看mysql的启动状态

systemctl status mysqld

三，设置mysql初始密码

1，设置无验证登录

mysql57之后有默认密码，比起去找，直接设置停止权限验证会更加简单一些

vi /etc/my.cnf

在mysqld段添加

port=3306 character-set-server = utf8 explicit_defaults_for_timestamp=1 skip-grant-tables=1

保存并退出 重启mysql

service mysqld restart

2，修改mysql密码

登录（输密码时直接回车）

mysql -uroot -p

更换数据库

use mysql

修改密码并立即生效

UPDATE user SET authentication_string=PASSWORD("0607184") WHERE user='root'; flush privileges; quit

3，改回my.cnf文件

vi /etc/my.cnf

去掉skip-grant-tables=1

保存并退出 重启mysql

service mysqld restart

打开

mysql -uroot -p0607184

修改变量（更改密码权限表要求）

set global validate_password_length=6; set global validate_password_policy=0;

修改密码

SET PASSWORD = PASSWORD('0607184');

新建hive数据库

create database hive；

修改权限

update user set host='%' where user='root';

四，配置hive环境

复制java connector到依赖库

将准备好的驱动mysql-connector-java-5.1.27.tar.gz（上面网盘里有）移动到hive的lib目录

tar -xvf /root/mysql-connector-java-5.1.27.tar.gz mv /root/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./hive/lib

1，修改配置文件

vi .bash_profile

增加下面两条

export HIVE_HOME=/root/hive export PATH=$PATH:$HIVE_HOME/bin

加载配置文件

source .bash_profile

2，修改hive-env.sh

进入hive目录修改文件

cd /root/hive/conf cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml vi hive-env.sh

增加以下三行

export JAVA_HOME=/root/jdk/jdk1.8.0_144/ export HADOOP_HOME=/root/hadoop-2.7.7 export HIVE_HOME=/root/hive

3，修改hive-site.xml

(建议别用命令行，行数太多了) 找到javax.jdo.option.ConnectionUserName修改几条

修改用户名

修改密码 修改驱动

修改链接地址

修改目录

五，验证 初始化元数据

schematool -dbType mysql -initSchema

启动hadoop集群

start-all.sh

验证

hive

Ⅲ，安装zookeepear

一，解压安装包

cd tar -xvf zookeeper-3.4.6.tar.gz mv zookeeper-3.4.6 zoo mkdir ~/zoo/zoodata mkdir ~/zoo/zoologs

二，配置环境变量

1，修改环境变量（所有机器）

vi .bash_profile

增加下面两条

export ZOOKEEPER_HOME=/root/zoo export PATH=$PATH:$ZOOKEEPER_HOME/bin

加载配置文件

source .bash_profile

2，编辑核心配置文件

cd ~/zoo/conf/ cp zoo_sample.cfg zoo.cfg vi zoo.cfg tickTime=2000 dataDir=/root/zoo/zoodata dataLogDir=/root/zoo/logs clientPort=2181 initLimit=5 syncLimit=2 quorumListenOnAllIPs=true server.1=master:2888:3888 server.2=slave:2888:3888 server.3=slave2:2888:3888

3，设置myid

在三台机器dataDir目录（~/zoo/zoodata 目录）下，分别生成一个myid文件，其内容分别为1，2，3

scp -r /root/zoo root@slave:~/ scp -r /root/zoo root@slave2:~/

分别在三个机器

vi ~/zoo/zoodata/myid

输入id,master为1，slave为2，slave2为3 echo 1 > ~/zoo/zoodata/myid

三，验证

bin/zkCli.sh -server 192.168.229.160:2181,192.168.229.161:2181,192.168.229.162:2181

如果出错，可以参考 启动zookeepear服务报错：无法找到路由的解决办法

Ⅳ，安装hbase（伪分布式）

一，解压hbase

cd tar -zxvf ~/hbase-2.1.7-bin.tar.gz mv hbase-2.1.7 hbase

二，配置hbase

进入配置文件夹

cd /root/hbase/conf

编辑hbase-env.sh

vi hbase-env.sh

修改JAVA_HOME为自己的jdk路径

export JAVA_HOME=/root/jdk/jdk1.8.0_144/ export HBASE_MANAGES_ZK=true

编辑hbase-site.xml

··· vi hbase-site.xml ··· 修改如下

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master,slave,slave2</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>hbase.master.info.port</name> <value>60010</value> </property> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/hbase/zoodata</value> </property> </configuration>

修改 regionservers

vi regionservers

修改localhost为

slave slave2

拷贝hdfs-site.xml和core-site.xml文件

拷贝Hadoop的core-site.xml，hdfs-site.xml文件至/root/hbase/conf 目录

设置环境变量(所有节点)

vi ~/.bash_profile

添加以下信息

export HBASE_HOME=/root/hbase export PATH=$HBASE_HOME/bin:$PATH

更新

source ~/.bash_profile

修改hbase源文件

修改hbase目录下bin文件夹的hbase文件 按下列连接修改即可（红色删除，黄色修改，绿色添加） 修改步骤 （此方法来源：来源连接）

复制到从节点

scp -r ~/hbase slave:~/ scp -r ~/hbase slave2:~/

启动服务

start-all.sh start-hbase.sh

三，测试

jps 需要存在hquorumpeer和Hmaster master如上 slave如上

WEB端 浏览器打开master:60010 hive shell 查看

四，使用外置zookeepear

如果想使用外置zookeepear，修改habse-env.sh的HBASE_MANAGES_ZK为false，再拷贝zookeeper conf/zoo.cfg到hbase的conf/下即可