sqoop理论和安装部署

1.Sqoop是什么?Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据将MySQLOracle导入数据到Hadoop的HDF

1. Sqoop是什么 ?

• Sqoop是apache旗下的一款 ”Hadoop和关系数据库之间传输数据”的工具

  • 导入数据

    • 将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统

  • 导出数据

    • 从Hadoop的文件系统中导出数据到关系数据库

2. Sqoop工作原理

      sqoop将导入和导出的命令翻译成mapreduce程序实现

• 在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

3. Sqoop安装部署

1、下载安装包   下载sqoop安装包   sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 2、规划安装目录   /opt/bigdata 3、上传安装包到服务器 4、解压安装包到指定的规划目录   tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/bigdata 5、重命名解压目录   mv sqoop-1.4.7.bin__hadoop-2.6.0  sqoop-1.4.7 6、修改配置   进入到sqoop安装目录下的conf文件夹中     先重命名文件  cp sqoop-env-template.sh  sqoop-env.sh     修改文件，添加java环境变量       vim sqoop-env.sh           #Set path to where bin/hadoop is available           export HADOOP_COMMON_HOME=/opt/bigdata/hadoop-2.7.3                      #Set path to where hadoop-*-core.jar is available           export HADOOP_MAPRED_HOME=/opt/bigdata/hadoop-2.7.3                      #set the path to where bin/hbase is available           export HBASE_HOME=/opt/bigdata/hbase-1.2.1                      #Set the path to where bin/hive is available           export HIVE_HOME=/opt/bigdata/hive-1.2.2

7、添加mysql驱动jar包   把mysql的驱动jar包添加到sqoop的lib目录下，可以拷贝之前hive的lib目录下的mysql驱动       cp /opt/bigdata/hive/lib/mysql-connector-java-5.1.46.jar /opt/bigdata/sqoop-1.4.7/lib/

8、配置sqoop环境变量   vim  /etc/profile       export SQOOP_HOME=/opt/bigdata/sqoop-1.4.7       export PATH=$PATH:$SQOOP_HOME/bin

9、让sqoop环境变量生效   source .bash_profile

4.几个常用的命令:

• 命令行查看帮助文档

sqoop list-databases --help

• 列出node1上mysql数据库中所有的数据库名称

sqoop-list-databases --connect jdbc:mysql://node2:3306/ --username root --password QQ@cf123456

• 查看某一个数据库下面的所有数据表

sqoop list-tables --connect jdbc:mysql://node2:3306/user_cf_db --username root --password QQ@cf123456

【文章原创作者：滨海网页设计 http://www.1234xp.com/binhai.html 复制请保留原URL】