Apache Sqoop（TM）是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具 ，主要用于在不同存储系统之间实现数据的导入与导出：
导入数据：从 MySQL，Oracle 等关系型数据库中导入数据到 HDFS、Hive、HBase 等分布式文件存储系统中；
导出数据：从 分布式文件系统中导出数据到关系数据库中。
其原理是将执行命令转化成 MapReduce 作业来实现数据的迁移，如下图：
Sqoop：SQL-to-Hadoop
连接 传统关系型数据库 和 Hadoop 的桥梁
把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS HBase 和 Hive) 中；
把数据从 Hadoop 系统里抽取并导出到关系型数据库里。
利用MapReduce加快数据传输速度 ： 将数据同步问题转化为MR作业
批处理方式进行数据传输：实时性不够好
高效、可控地利用资源
任务并行度，超时时间等
数据类型映射与转换
可自动进行，用户也可自定义
支持多种数据库
MySQL，Oracle，PostgreSQL
将数据从关系型数据库导入Hadoop中
步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息；
步骤2：Sqoop启动一个Map-Only的MR作业，利用元数据信息并行将数据写入Hadoop。
特点：可以指定hdfs路径，指定关系数据库的表，字段，连接数（不压垮数据库），可以导入多个表，支持增量导入（手动指定起始id、事件，或自动记录上次结束位置，自动完成增量导入）
将数据从Hadoop导入关系型数据库导中
步骤1：Sqoop与数据库Server通信，获取数据库表的元数据信息；
步骤2：并行导入数据：
将Hadoop上文件划分成若干个split；
每个split由一个Map Task进行数据导入。
Sqoop可以与Oozie、Hive、Hbase等系统结合；
将导入或导出命令翻译成 mapreduce 程序来实现。在翻译出的 mapreduce 中主要是对 inputformat 和 outputformat 进行定制。
安装 Sqoop 的前提是已经具备 Java 和 Hadoop 的环境。
1) 最新版下载地址：https://mirrors.bfsu.edu.cn/apache/sqoop/
用户指南：http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html
2) 解压 sqoop 安装包到指定目录，如：
[admin@node21 software]$ tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module/ [admin@node21 module]$ mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop-1.4.7Sqoop 的配置文件与大多数大数据框架类似，在 sqoop 根目录下的 conf 目录中。
1) 重命名配置文件
[admin@node21 conf]$ cp sqoop-env-template.sh sqoop-env.sh在conf目录下，有两个文件sqoop-site.xml和sqoop-site-template.xml内容是完全一样的，不必在意，我们只关心sqoop-site.xml即可。
1) 修改配置文件
sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.6 export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.6 export HBASE_HOME=/opt/module/hbase-1.2.6 export HIVE_HOME=/opt/module/hive-2.3.3 export ZOOCFGDIR=/opt/module/zookeeper-3.4.12source /etc/profile
我们可以通过某一个 command 来验证 sqoop 配置是否正确：
[admin@node21 sqoop-1.4.7]$ sqoop help Warning: /opt/module/sqoop-1.4.7/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop-1.4.7/../accumulo does not exist! Accumulo imports will fail. Please set $ACCUMULO_HOME to the root of your Accumulo installation. 18/06/03 23:27:27 INFO sqoop.Sqoop: Running Sqoop version: 1.4.7 usage: sqoop COMMAND [ARGS] Available commands: codegen Generate code to interact with database records create-hive-table Import a table definition into Hive eval Evaluate a SQL statement and display the results export Export an HDFS directory to a database table help List available commands import Import a table from a database to HDFS import-all-tables Import tables from a database to HDFS import-mainframe Import datasets from a mainframe server to HDFS job Work with saved jobs list-databases List available databases on a server list-tables List available tables in a database merge Merge results of incremental imports metastore Run a standalone Sqoop metastore version Display version information See 'sqoop help COMMAND' for information on a specific command.
