Sqoop数据分析引擎安装与使用-创新互联

Sqoop数据分析引擎安装与使用

 ==>什么是Sqoop ?

     Sqoop 是一个开源的数据处理引擎，主要是通过  JDBC 为媒介， 在Hadoop（Hive）与 传统的关系型数据库(Oracle, MySQL,Postgres等)间进行数据的传递

    HDFS  Hive  HBase  <    JDBC   > Oracle, MySQL,

==> Sqoop 的安装：

        1. 将安装包解压：tar zxf sqoop-1.4.6.bin__hadoop-0.23.tar.gz -C /app

        2. 配置环境变量：

            vim ~/.bash_profile

                SQOOP_HOME=/app/sqoop-1.4.6.bin__hadoop-0.23

                export  SQOOP_HOME

                PATH=$SQOOP_HOME/bin:$PATH

================================================================

        3. 因为需要通过 JDBC 与数据库进行数据传输，所以需要将数据库的 JDBC 工具包放入到 lib 目录下

              打开oracle 安装目录： C:\oracle\product\10.2.0\db_1\jdbc\lib

                将 ojdbc14.jar 文件复制到 sqoop 的 bin 目录下： /app/sqoop-1.4.6.bin__hadoop-0.23/bin

==> Sqoop 的命令详解：(注意：在oracle 中，用户名和表名要全部大写)

        codegen --->将关系数据库表映射为一个Java 文件， Java class类， 以及相关的 jar 包

                    sqoop codegen \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \

                    --username  SCOTT --password oracle \

                    --table EMP

================================================================

        create-hive-table ---> 生成与关系数据库表结构对应的 Hive 表

                    sqoop create-hive-table \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \

                    --username SCOTT --password oracle \

                    --table EMP

                    --hive-table emphive

================================================================

        eval    ---> 快速地使用 SQL 语句对关系数据库进行操作

                        这可以在使用的 import 这种工具进行数据导入的时候，检查 SQL 语句是否正确，并将结果显示在控制台

                    sqoop eval \

                    --connect jdbc:oracal:thin:@192.168.10.210:1521:orcl  \

                    --username SCOTT  --password  oracle

                    --query "select * from  emp"

================================================================

        export ---> 从hdfs 中导数据到关系数据库中

                    sqoop export \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username SCOTT  --password  oracle  \

                    --table  STUDENTS            # 表

                    --export-dir  /students        # HDFS 中的数据表

================================================================

        import ---> 将数据库表的数据导入到 HDFS 中

                    sqoop  export \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username SCOTT --password  oracle

                    --table EMP \

                    --target-dir  /emp

-------------------------------------------------------------------------------------------------------------

                    --->将数据导入到HBase 中（需要先将表创建）

                sqoop import \

                --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                --username SCOTT --password  oracle  \

                --table EMP   --columns empno, ename, sal, deptno  \

                --hbase-table emp  --hbase-row-key  empno --column-family  empinfo

                                                             row-key                            列族

================================================================

        import-all-tables ---> 将数据库中所有的表的数据导入到 HDFS 中

                    sqoop  import-all-tables \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username SCOTT  --password oracle  \

                    --m 1

================================================================

        job --> 用来生成一个 Sqoop 的任务，生成后，该 任务不执行，除非使用命令执行该任务

================================================================

        list-databases ---> 打印出关系数据库所有数据库名

                    sqoop list-databases  \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl

                    --username  SYSTEM  --password  oracle

================================================================

        list-table ---> 打印出关系数据库中所有的表名

                    sqoop  list-table \

                    --connect jdbc:oracle:thin:@192.168.10.210:1521:orcl  \

                    --username SCOTT --password  oracle  \

                    -m 1

================================================================

        merge ---> 将 HDFS 中不同目录下的数据合在一起，并存放在指定的目录中

================================================================

        metastore ---> 记录 Sqoop job 的元数据信息

================================================================

        version ---> 显示 Sqoop 版本信息

================================================================

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。