sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等。
sqoop1 sqoop2
将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制
导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都存储为文本文件的文本数据（或者Avro、sequence文件等二进制数据）
从MySQL数据库服务器中的emp表导入HDFS。
bin/sqoop import --connect jdbc:mysql://192.168.1.101:3306/userdb --password admin --username root --table emp --m 1为了验证在HDFS导入的数据，请使用以下命令查看导入的数据
hdfs dfs -ls /user/root/emp在导入表数据到HDFS使用Sqoop导入工具，我们可以指定目标目录。 使用参数 --target-dir来指定导出目的地， 使用参数—delete-target-dir来判断导出目录是否存在，如果存在就删掉
bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb \ --username root --password admin --delete-target-dir --table emp --target-dir /sqoop/emp --m 1查看导出的数据
hdfs dfs -text /sqoop/emp/part-m-00000它会用逗号（，）分隔emp_add表的数据和字段。
第二步：准备hive数据库与表 将我们mysql当中的数据导入到hive表当中来
hive (default)> create database sqooptohive; hive (default)> use sqooptohive; hive (sqooptohive)> create external table emp_hive(id int,name string,deg string,salary int ,dept string) \ row format delimited fields terminated by '\001';第三步：开始导入
bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1第四步：hive表数据查看
select * from emp_hive;可以通过命令来将我们的mysql的表直接导入到hive表当中去
bin/sqoop import --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin --table emp_conn --hive-import -m 1 --hive-database sqooptohive;可以导入表的使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。 where子句的语法如下。 –where 按照条件进行查找，通过—where参数来查找表emp_add当中city字段的值为sec-bad的所有数据导入到hdfs上面去
bin/sqoop import \ --connect jdbc:mysql://172.16.43.67:3306/userdb \ --username root --password admin --table emp_add \ --target-dir /sqoop/emp_add -m 1 --delete-target-dir \ --where "city = 'sec-bad'"可以通过 –query参数来指定我们的sql语句，通过sql语句来过滤我们的数据进行导入
bin/sqoop import \ --connect jdbc:mysql://172.16.43.67:3306/userdb --username root --password admin \ --delete-target-dir -m 1 \ --query 'select phno from emp_conn where 1=1 and $CONDITIONS' \ --target-dir /sqoop/emp_conn查看hdfs数据内容
hdfs dfs -text /sqoop/emp_conn/part*在实际工作当中，数据的导入，很多时候都是只需要导入增量数据即可，并不需要将表中的数据全部导入到hive或者hdfs当中去，肯定会出现重复的数据的状况，所以我们一般都是选用一些字段进行增量的导入，为了支持增量的导入，sqoop也给我们考虑到了这种情况并且支持增量的导入数据 增量导入是仅导入新添加的表中的行的技术。 它需要添加‘incremental’, ‘check-column’, 和 ‘last-value’选项来执行增量导入。 下面的语法用于Sqoop导入命令增量选项。
--incremental <mode> --check-column <column name> --last value <last check column value>导入emp表当中id大于1202的所有数据 注意：增量导入的时候，一定不能加参数–delete-target-dir否则会报错
bin/sqoop import \ --connect jdbc:mysql://192.168.22.22:3306/userdb \ --username root \ --password admin \ --table emp \ --incremental append \ --check-column id \ --last-value 1202 \ -m 1 \ --target-dir /sqoop/increment如何解决减量数据？？？ 本质上是数据改变
将数据从HDFS把文件导出到RDBMS数据库 导出前，目标表必须存在于目标数据库中。
默认操作是从将文件中的数据使用INSERT语句插入到表中更新模式下，是生成UPDATE语句更新表数据数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下
1201,gopal,manager,50000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1 1202,manisha,Proof reader,50000,TP,2018-06-15 18:54:32.0,2018-06-17 20:26:08.0,1 1203,khalil,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1 1204,prasanth,php dev,30000,AC,2018-06-17 18:54:32.0,2018-06-17 21:05:52.0,0 1205,kranthi,admin,20000,TP,2018-06-17 18:54:32.0,2018-06-17 18:54:32.0,1第一步：创建mysql表
CREATE TABLE `emp_out` ( `id` INT(11) DEFAULT NULL, `name` VARCHAR(100) DEFAULT NULL, `deg` VARCHAR(100) DEFAULT NULL, `salary` INT(11) DEFAULT NULL, `dept` VARCHAR(10) DEFAULT NULL, `create_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, `update_time` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, `is_delete` BIGINT(20) DEFAULT '1' ) ENGINE=INNODB DEFAULT CHARSET=utf8;第二步：执行导出命令 通过export来实现数据的导出，将hdfs的数据导出到mysql当中去
bin/sqoop export \ --connect jdbc:mysql://172.16.43.67:3306/userdb \ --username root --password admin \ --table emp_out \ --export-dir /sqoop/emp \ --input-fields-terminated-by ","第三步：验证mysql表数据
