hadoop集群启动、停止命令【namenode、datanode、yarn、spark、hive】

Hdfs

启动集群

sbin/start-dfs.sh

注：这个启动脚本是通过ssh对多个节点的namenode、datanode、journalnode以及zkfc进程进行批量启动的。

启动NameNode

sbin/hadoop-daemon.sh start namenode

启动DataNode

sbin/hadoop-daemon.sh start datanode

停止集群

sbin/stop-dfs.sh

停止单个进程

sbin/hadoop-daemon.sh stop zkfc sbin/hadoop-daemon.sh stop journalnode sbin/hadoop-daemon.sh stop datanode sbin/hadoop-daemon.sh stop namenode

Yarn

启动集群

sbin/start-yarn.sh

注：start-yarn.sh启动脚本只在本地启动一个ResourceManager进程，而3台机器上的nodemanager都是通过ssh的方式启动的。

启动ResouceMananger

sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

sbin/yarn-daemon.sh start nodemanager

启动JobHistoryServer

sbin/yarn-daemon.sh start historyserver

停止集群

sbin/stop-yarn.sh

停止单个节点

sbin/yarn-daemon.sh stop resourcemanager sbin/yarn-daemon.sh stop nodemanager

Zookeeper

启动集群

bin/zkServer.sh start

启动单个节点

bin/zkServer.sh start

启动客户端

bin/zkCli.sh -server master:2181

Kafka

启动集群

bin/kafka-server-start.sh -daemon config/server.properties

启动单个节点

bin/kafka-server-start.sh -daemon config/server.properties

创建Topic

bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic test

列出Topic

bin/kafka-topics.sh --list --zookeeper master:2181

生产数据

bin/kafka-console-producer.sh --broker-list master:9092 --topic test

读取数据

bin/kafka-console-consumer.sh --zookeeper master:2181 --topic test --from-beginning

Hbase

启动/停止集群

bin/start-hbase.shbin/stop-hbase.sh

启动/停止HMaster

bin/hbase-daemon.sh start masterbin/hbase-daemon.sh stop master

启动/停止HRegionServer

bin/hbase-daemon.sh start regionserverbin/hbase-daemon.sh stop regionserver

启动Shell

bin/hbase shell

Spark

启动程序

本地

bin/spark-shell --master local

Standalone

bin/spark-shell --master spark://master:7077

Yarn Client

bin/spark-shell --master yarn-client

Yarn Cluster

bin/spark-shell --master yarn-cluster

Flume

启动Agent

bin/flume-ng agent -n LogAgent -c conf -f conf/logagent.properties -Dflume.root.logger=DEBUG,console

Sqoop

导入

sqoop import --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities

导出

sqoop export --connect jdbc:mysql://mysql.example.com/sqoop --username sqoop --password sqoop --table cities --export-dir cities

Hive

启动Shell

hive -h <host> -p <port> beeline -u jdbc:hive2://<host>:<port>

Mysql

启动Shell

mysql -u<user> -p<password>