大数据平台——sqoop的安装与配置

Sqoop安装

安装前提是已经具备Java和Hadoop的环境 一，安装 1.下载并解压 1）下载地址：http：//mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2)解压安装包

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

2.修改配置文件 Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录。 1）切换到sqoop，，，下面的conf，改个sqoop-env.sh名字

mv sqoop-env-template.sh sqoop-env.sh 2）打开sqoop-env.sh,添加东西 vi sqoop-env.sh 添加： export HADOOP_COMMON_HOME=/usr/hadoop/hadoop-2.8.5

export HADOOP_MAPRED_HOME=/usr/hadoop/hadoop-2.8.5

export HBASE_HOME=/usr/hadoop/hbase-1.3.6

export HIVE_HOME=/usr/hadoop/apache-hive-1.2.2-bin

export ZOOCFGDIR=/usr/hadoop/zookeeper-3.4.6

export ZOOKEEPER_HOME=/usr/hadoop/zookeeper-3.4.6 保存退出

3)配置环境 vi /etc/profile

export SQOOP_ HOME=/usr/hadoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

4）拷贝JDBC驱动 拷贝jdbc驱动到ssqoop的lib目录下，如： cp mysql-connector-java-5.1.48-bin.jar /usr/hadoop sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

5)验证Sqoop 我们可以通过某一个command来验证sqoop配置是否正确： sqoop version 出现一些警告，并伴随着帮助命令的输出：

6）测试Sqoop是否能够成功连接数据库，执行命令 sqoop help list-databases --connect jdbc:mysql://master:3306/ --username root --password 8811

二，Sqoop的简单使用案例 1）导入数据 在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS,HIVE,HBASE）中传输数据，叫做：导入，即使用import关键字。 先打开mysql服务：service mysqld start 查看状态：service mysqld status

登录： mysql -u root -p8811

开始

1、 RDBMS 到 HDFS

确定 Mysql 服务开启正常

2）在 Mysql 中新建一张一个test库，并插入一些数据

create database test;

使用test库 use test;

3)在test中创建表并插入4条数据 create table t_user(id int,name varchar(20),age int);

insert into t_user values(1,‘rod’,20);

insert into t_user values(2,‘tom’,21);

insert into t_user values(3,‘lucy’,22);

insert into t_user values(4,‘jet’,23); 4)查看表结构和表中的数据 1查结构desc t_user; 2查数据select *from t_user; 在关系型数据库的表和数据准备好后，就可以编写实例了。 在/usr/hadoop下面创建一个目录sqoopcrefile，在此目录下创建一个文件，在这个文件中配置数据导入的相关信息。 import

jdbc:mysql://localhost:3306/text –username root –password 8811 –table t_user –columns id,name,age –where id>0 –target-dir hdfs://master:9000/sqoop –delete-target-dir -m 1 –as-textfile –null-string

基于配置文件执行Sqoop，命令格式是：sqoop–options-file 文件名。

根据运行结果发现，基于sqoop执行时，底层运行的是mapreduce，执行完后，可以查看导入结果。比如，基于浏览器，登录hdfs查看sqoop目录。 ##2）导出数据