Stop Hive MetaStore and Hive Server

sudo service hive-metastore stop

sudo service hive-server2 stop

Dump myql資料

執行指令碼 ： sh mysql_export.sh，
匯出結果檔案為data2.sql

資料灌入Oracle

拷貝data2.sql檔案到oracle匯入目錄，執行資料匯入程式
sqlplus meta_store/[email protected] @load.sql

修改hive metastore為oracle

/etc/hive/conf/ hive-site.xml

  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:oracle:thin:@10.20.19.78:1521:jztest</value>
    <description>the URL of the MySQL database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name
 
>
    <value>oracle.jdbc.driver.OracleDriver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>META_STORE</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name
 
>
    <value>paic1234</value>
  </property>

Start Hive MetaStore and Hive Server

sudo service hive-metastore start

sudo service hive-server2 start

Database data check

mysql 資料查詢

mysql -u hive -phive -h datanode3 –database=metastore -e “select ‘CDS’,COUNT(1) from CDS t UNION ALL
select ‘SDS’,COUNT(1) from SDS t UNION ALL
select ‘TBLS’,COUNT(1) from TBLS t UNION ALL
select ‘PARTITIONS’,COUNT(1) from PARTITIONS t UNION ALL
select ‘FUNCS’,COUNT(1) from FUNCS t”

oracle資料查詢
進入sqlplus，查詢

select ‘CDS’,COUNT(1) from CDS t UNION ALL
select ‘SDS’,COUNT(1) from SDS t UNION ALL
select ‘TBLS’,COUNT(1) from TBLS t UNION ALL
select ‘PARTITIONS’,COUNT(1) from PARTITIONS t UNION ALL
select ‘FUNCS’,COUNT(1) from FUNCS t

Schema備註

• SDS表中欄位 IS_STOREDASSUBDIRECTORIES NUMBER(1) NOT NULL CHECK (IS_STOREDASSUBDIRECTORIES IN (1,0))在表中順序在mysql schema和oracle schema不同，在遷移資料的時候需要特殊處理。

說明

• 在遷移過程中，mysql metastore會停止，dba如果支援的話，是否可以考慮設定為只讀模式。
• 資料匯入Oracle的過程還是很慢，使用了Append，Nologging，PL/SQL等技術優化，看dba支援吧。