centos7环境下安装CM、CDH搭建大数据集群(未完)

科技2022-08-21 130

由于作者已经将centos7设置成root免密登录，所以本文所有步骤都是在root权限下进行设置。设置root免密登录的方法见下面链接：https://blog.csdn.net/phenixzhong/article/details/107484359

由于cloudera 6.3.1的后续版本需要用户名和密码才能获取，所以本文只能采用6.3.1版本来解说CM、CDH的安装步骤。

cloudera官方参考链接：https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_installing_configuring_dbs.html

https://docs.cloudera.com/cdp-private-cloud/latest/upgrade-cdh/topics/cm_ig_create_local_package_repo.html

1、为Cloudera Manager配置仓库

wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo -P /etc/yum.repos.d/

2、安装jdk

参考如下链接：https://blog.csdn.net/phenixzhong/article/details/89055620

3、安装Cloudera Manager Server

yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

下载会很慢。

https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/

4、安装和配置数据库

作者选择安装的MySQL

4.1 安装MySQL

4.1.1 wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

4.1.2 yum -y install mysql57-community-release-el7-10.noarch.rpm

4.1.3 yum -y install mysql-community-server

4.1.4 systemctl start mysqld

4.2 设置MySQL为自启动服务

systemctl enable mysqld

4.3 启动MySQL

systemctl start mysqld

4.4 获取mysql初始密码

grep "password" /var/log/mysqld.log

4.5 登录进入数据库

mysql -uroot -p

4.6 修改mysql安全等级

4.6.1 查看 mysql 初始的密码策略

SHOW VARIABLES LIKE 'validate_password%';

4.6.2 设置密码的验证强度等级，设置 validate_password_policy 的全局参数为 LOW 即可

set global validate_password_policy=LOW;

4.6.3 当前密码长度为 8，如果不介意的话就不用修改了，按照通用的来讲，设置为 6 位的密码，设置validate_password_length 的全局参数为 6 即可

set global validate_password_length=6;

4.6.4 修改mysql root密码

ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

4.7 安装MySQL JDBC驱动

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.21.tar.gz

tar zxvf mysql-connector-java-8.0.21.tar.gz

mkdir -p /usr/share/java/

cd mysql-connector-java-8.0.21

cp mysql-connector-java-8.0.21.jar /usr/share/java/mysql-connector-java.jar

4.8 为Cloudera创建数据库

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456';

CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456';

CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456';

CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON metastore.* TO 'metastore'@'%' IDENTIFIED BY '123456';

CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456';

CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456';

CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456';

CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456';

5、为Cloudera设置数据库

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

6、下载CDH

从网址https://archive.cloudera.com/cdh6/6.3.2/parcels/中下载CDH-6.3.2-1.cdh6.3.2.p0.1605554以及其hash文件

将下载的CDH parcels文件放到 /opt/cloudera/parcel-repo 文件夹下

7、安装CDH和其他软件

7.1 启动Cloudera Management服务器

systemctl start cloudera-scm-server

7.2 等几分钟，运行下面命令观看启动过程

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

7.3 在浏览器中，输入下面命令

http://localhost:7180

因为VMware中浏览器不能显示所有网页，所以在宿主机的浏览器中输入192.168.40.11:7180

输入用户名、密码(都是admin)

7.4 登录进去后的界面如下：

7.5 点击上图中的Continue按钮后的界面如下：

7.6 修改上图中的集群名和点击Continue按钮后的界面如下：

7.7 、在上图中输入你要管理的机器名(/etc/hosts中要保存有机器名和ip地址的映射)后，点击search按钮，结果见下图：

7.8 点击上图中的Continue按钮后的界面如下：

7.9 在上图中选择你要安装的组件，选择最新的CDH会提示有些组件不能安装。选完后的界面如下所示(我安装了jdk1.8，所以没有选上"Install Oracle Java SE Development Kit (JDK 8) ")：

7.10 点击上图中的Continue按钮后所示界面如下：

7.11 上图中估计是输入root的密码，我每台机器的root密码都是一样的，点击Continue按钮后的界面如下：

7.12 上图是点击了Continue按钮后的效果。

https://archive.cloudera.com/cdh6/6.3.2/parcels/

Processed: 0.018, SQL: 9