2020-10-07

    科技2024-03-20  104

    centos7系统虚拟机的hadoop配置——全是坑

    1、linux静态ip配置和secureCRL使用

    (1)进入 /etc/sysconfig/network-scripts/ifcfg-ens33:加网关、ip、dns、局域网地址、嗯还有一些其他的东西(可以参考一下别的博客),我的是这么配置的。

    BROWSER_ONLY=no BOOTPROTO=staticTYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=staticIPADDR=192.168.44.22 NETMASK=255.255.255.0 GATEWAY=192.168.44.2 DNS1=8.8.8.8 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=ef0656c5-33c3-4f7c-865f-6aeed039320c DEVICE=ens33 ONBOOT=yes

    (2)修改和配置hostname

    首先,修改主机名(永久)为aaa:systemctl set-hostname aaa (代码应该是这样的,我有点记不清了)

    接着,映射主机名和ip:sudo vi /etc/hosts,按i进入编辑模式

    192.168.44.22 aaa

    按Esc,再按冒号,再输入wq,回车保存。

    (3)在windows中,修改hosts文件(在哪百度一下),添加

    192.168.44.22 aaa

    (4)下载安装secureCRL,连接

    hostname:aaa(或者ip地址192.168.44.22)

    port:22

    username:root

    注意:有时候连不上是因为虚拟机的防火墙或者网络服务没开,关闭防火墙(systemctl stop firewalld.service),

    在windows中启动所有VM开头的服务(任务管理器-》服务-》任找一项右键打开服务-》找到VM开头的服务-》右键、启动。

    2、hadoop文件配置

    (1)下载jdk、hadoop安装包,解压,建议专门找一处地方放解压包,需要先卸载centos自带的jdk(版本太低)

    (2)环境变量配置(网上搜吧)

    (3)验证

    java -version

    hadoop version

    (4)hadoop名称节点、数据节点、辅助名称节点、资源管理器、节点管理器配置

    去官网看说明,或者网上搜一下,不想贴

    (5)格式化HDFS hadoop namenode -format(这个是在hadoop环境配置好的前提,不然直接进hadoop解压包的bin下)

    (6)启动节点 start-all.sh(这个是在hadoop环境配置好的前提,不然直接进hadoop解压包的sbin下),也可以分成start-dfs.sh和start-yarn.sh分开启动

    (7)查看进程数jps(这个是在java环境配置好的前提)

    (8)查看文件hadoop fs -ls /

    如果显示没有,需要自己创建hadoop fs -mkdir -p /user/centos/data

    3、外部浏览器查看

    (1)查看端口号netstat -ano | more

    凡是  0.0.0.0:端口号 都可以外部查看

    (2)直接在虚拟机上打开火狐浏览器输入 localhost:端口号(如localhost:50070)

    4、SSH配置(有空再写吧)

    Processed: 0.021, SQL: 8