1。Sqoop入门

　　1.1 Sqoop简介
　　Sqoop 即 Sql To Hadoop
　　一般来说数据仓库中的数据不应该只有行为数据，还需要有业务数据，而业务数据一般存放在关系型数据库（例如Oracle、Mysql、Sql Server等）中，而在以前，从关系型数据库中导出数据到Hadoop是非常困难的，市场上也需要一款可以方便导入和导出的工具，此时Sqoop、Datax、Kettle等工具应运而生。
　　官网：https://sqoop.apache.org/
　　Apache Sqoop项目在2021年6月就已经进入Attic了，这意味着Sqoop移动到Attic后，是不会再修复任何的Bug、Release新版本了，并且也不会再重启社区，但从使用角度来说是完全不受影响的，Apache Attic依旧会提供代码库的下载。
　　虽然Sqoopy已经退役，但目前将Sqoop做数据迁移工具公司也不在少数，如果遇到问题，我们只能自己建个分支去fix了。
　　Sqoop是一款开源的工具，主要用于在Hadoop（Hive）与传统的数据库(mysql、oracle...)之间进行数据的传递，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
　　简单来说Sqoop的定位就是Hadoop生态存储和结构化存储之间的数据迁移 。
　　我们比较常见的场景就是HDFS/HBase/Hive和MySql/Oracle之间的数据互导。Sqoop作为数据传输的桥梁，通过定义MapReduce的InPutFormat和OutPutFormat来对接源存储和目的存储。
　　Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
　　Sqloop的版本
　　目前Sqoop总体有两大版本分为Sqoop1和Sqoop2，Sqoop1的最新release是1.4.7；
　　Sqoop2的最新Release是1.99.7；这里如果大家使用的话推荐使用Sqoop1 ，而Sqoop2虽然增加了CLI和Rest api，但实际上是一个半成品，跟Sqoop1也完全不兼容，并且无论是CDH还是之前Apache都是不建议生产使用的，自己随便玩玩还可以。
　　请注意 ，2与1不兼容，且特征不完整，它并不打算用于生产部署1.2 Sqoop原理
　　将导入或导出命令翻译成mapreduce程序来实现。
　　在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。
　　整个Sqoop的迁移过程，都会对应着一个MapReduce作业，实际上只有Map阶段，而迁移大致分为5个部分，如下所示。
　　Sqoop逻辑简图
　　「Initializer」：整个Sqoop迁移的初始化阶段，完成迁移前的准备工作，如连接数据源，创建临时表，添加依赖的jar包等。
　　「Partitioner」：源数据分片，根据作业并发数来决定源数据要切分多少片。
　　「Extractor」：开启extractor线程，内存中构造数据写入队列之中；
　　「Loader」：开启loader线程，从队列中读取数据并写入对应后端；
　　「Destroyer」：整个迁移的收尾工作，断开sqoop与数据源的连接，完成资源回收；
　　流程解析：
　　当迁移任务启动后，首先会进入初始化部分，使用JDBC检查导入的数据表，检索出表中的所有列以及列的数据类型，并将这些数据类型映射为Java数据类型，在转换后的MapReduce应用中使用这些对应的Java类型来保存字段的值，在每次Sqoop的任务执行时，代码生成器使用这些信息来创建对应表的类，用于保存从表中抽取的记录，即xxxx.java文件。
　　紧接着Partitioner会根据--split-by或者-m指定整个任务的分片数量，如不指定默认是4个分片(每一个partition对应着一个Mapper),然后编译成一个本地Jar包用于提交MapReduce作业。当任务提交到集群后，每个Mapper会分别启动一个Extractor线程和Loader线程，整个MapReduce的InputFormat实际上是通过JDBC读取原端数据写入到Context中，而Loader线程将从Context中读出写入对应的数据作为OutPutFormat迁移的目的端。当任务执行完成后，yarn资源释放，随之Destroyer回收所有与数据源的连接。
　　这里主要讲述的是Import的过程，而export流程与import十分相似，是把数据解析为一条条insert 语句，在此不过多解析。1.3 Sqoop安装
　　安装Sqoop的前提是已经具备Java和Hadoop的环境。
　　本文使用的是三台集群环境，选取192.168.204.103这台主机进行安装。
　　① 下载并解压
　　1) 下载地址：http://archive.apache.org/dist/sqoop/1.4.7/
　　2) 上传安装包 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 到虚拟机中
　　/opt/soft/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
　　3) 解压sqoop安装包到指定目录，例如：
　　[root@node103 soft]# tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C ../module/
　　如果觉得目录名称过长，可以修改一下：[root@node103 sqoop-1.4.7.bin__hadoop-2.6.0]# pwd
　　/opt/module/sqoop-1.4.7.bin__hadoop-2.6.0
　　[root@node103 module]# mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop
　　[root@node103 sqoop-1.4.7.bin__hadoop-2.6.0]# pwd
　　/opt/module/sqoop
　　② 修改配置文件
　　Sqoop的配置文件与大多数大数据框架类似。
　　可以在/etc/profile中配置，导出为全局变量
　　或者
　　在sqoop-env.sh文件中配置，该文件在sqoop根目录下的conf目录中。（本文章用的是这个方式进行的配置）
　　我们需要配置哪些内容呢?HADOOP_HOME
　　HIVE_HOME
　　HBASE_HOME
　　ZOOKEEPER_HOME
　　为什么是这些环境变量，因为后面案例中要实现的导入、导出功能有：RDBMS ----> HDFS
　　RDBMS ----> Hive
　　RDBMS ----> HBase
　　------------------
　　HDFS ----> RDBMS
　　Hive ----> RDBMS
　　1) 重命名或复制一个配置文件[root@node103 conf]# mv sqoop-env-template.sh sqoop-env.sh
　　或
　　[root@node103 conf]# cp sqoop-env-template.sh sqoop-env.sh
　　2) 修改配置文件
　　sqoop-env.shexport HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.5
　　export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.5
　　export HBASE_HOME=/opt/module/hbase-1.3.1
　　export HIVE_HOME=/opt/module/apache-hive-2.1.1-bin
　　export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.9
　　export ZOOCFGDIR=/opt/module/zookeeper-3.4.9/conf
　　效果图如下：
　　③ 拷贝JDBC驱动
　　拷贝jdbc驱动到sqoop的lib目录下，可以从之前Hive的安装目录下找到mysql驱动包：[root@node103 lib]# pwd
　　/opt/module/apache-hive-2.1.1-bin/lib
　　[root@node103 lib]# cp mysql-connector-java-5.1.38.jar /opt/module/sqoop/lib/
　　④ 验证Sqoop
　　我们可以通过某一个command来验证sqoop配置是否正确：[root@node103 sqoop]# pwd
　　/opt/module/sqoop
　　[root@node103 sqoop]# ./bin/sqoop help
　　出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：usage: sqoop COMMAND [ARGS]
　　Available commands:
　　codegen Generate code to interact with database records
　　create-hive-table Import a table definition into Hive
　　eval Evaluate a SQL statement and display the results
　　export Export an HDFS directory to a database table
　　help List available commands
　　import Import a table from a database to HDFS
　　import-all-tables Import tables from a database to HDFS
　　import-mainframe Import datasets from a mainframe server to HDFS
　　job Work with saved jobs
　　list-databases List available databases on a server
　　list-tables List available tables in a database
　　merge Merge results of incremental imports
　　metastore Run a standalone Sqoop metastore
　　version Display version information
　　See ＂sqoop help COMMAND＂ for information on a specific command.
　　这里的输出信息中有一个HBase路径不正确，是因为做测试已经移除掉HBase，需要重新安装HBase即可（请参考 Hbase系列）。
　　⑤ 测试Sqoop是否能够成功连接数据库
　　[root@node103 sqoop]# ./bin/sqoop list-databases --connect jdbc:mysql://node103:3306/ --username root --password 123456
　　出现如下输出：information_schema
　　hive
　　mysql
　　test
　　至此，Sqoop安装完毕！