Spark專案之環境搭建(單機)四 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 安裝
阿新 • • 發佈:2018-12-25
上傳解壓 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,重新命名
tar -zxf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
進入sqoop下的conf目錄:cd /home/sqoop/conf,然後將sqoop-env-template.sh 拷貝一份命名為 sqoop-env.sh
cd /home/sqoop/conf
cp sqoop-env-template.sh sqoop-env.sh
然後編輯:vi sqoop-env.sh, HBASE_HOME這個我沒有,所以可以不填,執行時說找不到HBASE_HOME的也是沒有關係的。
#Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/home/hadoop #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/home/hadoop #set the path to where bin/hbase is available #export HBASE_HOME= #Set the path to where bin/hive is available export HIVE_HOME=/home/hive
加入mysql的jdbc驅動包,因為我們在安裝hive的時候,在hive下的lib下新增過mysql的驅動包,那我們直接拷貝過來就好,
cp /home/hive/lib/mysql-connector-java-5.1.44.jar /home/sqoop/lib
然後驗證sqoop是否安裝成功,進入sqoop/bin,然後輸入 sqoop-version
sqoop-version
安裝成功
驗證sqoop和mysql的聯通性
./sqoop-list-databases --connect jdbc:mysql://localhost:3306 --username root --password root
成功如下:
從資料庫匯入hdfs:不指定位置,預設在/user/root目錄下面
bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root --password root --table shadowsocks_log --m 1
從資料庫匯入hdfs:指定位置
bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root --password root --table shadowsocks_log --target-dir /sqoop/mysql/hadoop/shadowsocks_log --m 1
從資料庫匯入hive:
bin/sqoop import --connect jdbc:mysql://192.168.131.155:3306/hadoop --username root --password root --table shadowsocks_log --fields-terminated-by ',' --delete-target-dir --num-mappers 1 --hive-import --hive-table shadowsocks_log