1. 程式人生 > >1.5 使用Sqoop從HDFS匯出資料到MySQL

1.5 使用Sqoop從HDFS匯出資料到MySQL

mysql -uroot -phadoop

2.建立新的資料庫

CREATE DATABASE logs;  

3.選擇logs資料庫

USE logs;  

4.建立weblogs表

CREATE TABLE weblogs_from_hdfs (  
md5 VARCHAR(32),  
url VARCHAR(64),  
request_date DATE,  
request_time TIME,  
ip VARCHAR(15)  
); 

實驗過程

sqoop export -m 1 --connect jdbc:mysql://namenode:3306/logs
--username root --password hadoop --table weblogs_from_hdfs --export-dir /data/weblogs/weblog_entries.txt --input-fields-terminated-by '\t' --mysql-delimiters

這裡寫圖片描述

注:書中是將/data/weblogs/05102012 下檔案匯入到mysql而我使用了1.2上傳上去的weblog_entries.txt,然後書中還有一點紕漏,就是–mysql-delimiters 在書中寫成了–mysql-delmiters 少了一個‘i’所以如果直接執行書中原句,會報錯。

在mysql中查詢 weblogs_from_hdfs 表數量可以檢測是否執行成功

mysql> select count(*) from weblogs_from_hdfs;
+----------+
| count(*) |
+----------+
|     3000 |
+----------+
1 row in set (0.00 sec)