1. 程式人生 > >Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝

Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝

上傳解壓 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重新命名

tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

進入sqoop下的conf目錄:cd /home/sqoop/conf,然後將sqoop-env-template.sh 拷貝一份命名為 sqoop-env.sh

cd /home/sqoop/conf
cp sqoop-env-template.sh sqoop-env.sh

然後編輯:vi sqoop-env.sh,  HBASE_HOME這個我沒有,所以可以不填,執行時說找不到HBASE_HOME的也是沒有關係的。

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop

#set the path to where bin/hbase is available
#export HBASE_HOME=

#Set the path to where bin/hive is available
export HIVE_HOME=/home/hive

加入mysql的jdbc驅動包,因為我們在安裝hive的時候,在hive下的lib下新增過mysql的驅動包,那我們直接拷貝過來就好,

cp /home/hive/lib/mysql-connector-java-5.1.44.jar /home/sqoop/lib

 然後驗證sqoop是否安裝成功,進入sqoop/bin,然後輸入 sqoop-version

sqoop-version

 安裝成功

驗證sqoop和mysql的聯通性

./sqoop-list-databases --connect jdbc:mysql://localhost:3306 --username root --password root

 成功如下:

 從資料庫匯入hdfs:不指定位置,預設在/user/root目錄下面

bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root --password root --table shadowsocks_log --m 1

從資料庫匯入hdfs:指定位置

bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root  --password root --table shadowsocks_log --target-dir /sqoop/mysql/hadoop/shadowsocks_log --m 1

從資料庫匯入hive:

bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root --password root --table shadowsocks_log --fields-terminated-by ',' --delete-target-dir --num-mappers 1 --hive-import --hive-table shadowsocks_log

專案地址:https://github.com/LX1309244704/sparkDemo