Spark SQL metaData配置到Mysql
阿新 • • 發佈：2018-06-23
做了 art note load data creat local 加載 流行 metadata 構造以spark為核心的數據倉庫:
0.說明
在大數據領域，hive作為老牌的數據倉庫比較流行，spark可以考慮兼容hive。但是如果不想用hive做數據倉庫也無妨，大不了我們用spark建立最新的數據倉庫。
sparkSQL的發展歷程表明了，spark本身就可以做數據倉庫，而不需要hive。sparkSQL作為數據倉庫其元數據放到了Derby中，一般生產環境不會用Derby，而是使用
MySQL或者postgreSQL.本文就是要告訴讀者，如何將sparkSQL的元數據存放到mysql.
1.集群規劃情況
mysql chinac244<-->chinac242,這兩節點做了主主備份。
vim $SPARK_HOME/conf/hive-site.xml
修改如下內容
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://
3.修改時間屬性（沒做）
然後修改Hive-site.xml中所有的時間屬性，所有屬性的單位為s(秒),刪除s然後添加3個0,所有屬性的單位為ms的刪除ms,spark無法識別這些單位，而是把他們全當數字處理。
4.分發配置文件
scp $SPARK_HOME/conf/hive-site.xml chinac82:$SPARK_HOME/conf/hive-site.xml
scp $SPARK_HOME/conf/hive-site.xml chinac88:$SPARK_HOME/conf/hive-site.xml
5.重啟spark集群
[root@chinac88 ~]# ${SPARK_HOME}/sbin/stop-all.sh
[root@chinac88 ~]# nohup ${SPARK_HOME}/sbin/start-all.sh &
啟動效果如下
6.測試配置
A,查看MySQL中數據庫信息
B,執行sparkSQL命令
[root@chinac27 conf]# spark-sql --master spark://chinac88:7077,chinac82:7077
//1.創建數據表
CREATE TABLE testspark(id INT,name STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,‘ LINES TERMINATED BY ‘\n‘;
此語句將在mysql中生成sparkmetadata數據庫,數據表
此語句將在HDFS中生成相應的目錄
7.進一步測試
準備數據，效果如下
加載數據，語句如下
LOAD DATA LOCAL INPATH ‘/root/software/test‘ OVERWRITE INTO TABLE testspark;
此語句將上傳文件到HDFS,查看數據，效果如下
查詢數據，能夠看到加載後的數據。
SELECT * FROM testspark;
刪除表，同時會刪除MySQL中的表信息和HDFS中的數據
DROP TABLE testspark;
8.至此，sparkSQL元數據被存放到了mysql中，我們再也不需要hive數據倉庫了。直接用spark做數據倉庫就可以了
Spark SQL metaData配置到Mysql