2. 程式人生 > >Oracle用分割槽表分割槽交換做歷史資料遷移

Oracle用分割槽表分割槽交換做歷史資料遷移

阿新 • • 發佈：2019-01-09

一。說明：

     OLTP庫中有些表資料量大，且每月有持續的大量資料增加，由於歷史資料在此庫中不再做訪問，而是在另1個OLAP庫中做分析，所以會對歷史資料遷移至OLAP庫中。對這種歷史資料遷移的操作，較好的辦法是該表採用分割槽表。按時間分割槽後，可以對分割槽進行遷移。通過分割槽交換和表空間傳輸會很容易完成，而且效能上影響很小。


關於分割槽表更多內容：    http://blog.csdn.net/tanqingru/article/category/1397435 
關於表空間傳更多內容： http://blog.csdn.net/tanqingru/article/category/1138527 


二。例項：

整個過程是在OLTP庫做分割槽交換。然後通過表空間傳輸遷移至OLAP庫，最後再做一次分割槽交換即可。

1.創造需要的環境。



OLTP庫環境準備：

SQL> conn /as sysdba
Connected.
SQL> select * from V$version;

BANNER
--------------------------------------------------------------------------------
Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production
PL/SQL Release 11.2.0.3.0 - Production
CORE    11.2.0.3.0      Production
TNS for Linux: Version 11.2.0.3.0 - Production
NLSRTL Version 11.2.0.3.0 - Production
SQL> show parameter db_create_file_dest

NAME                                 TYPE        VALUE
------------------------------------ ----------- ------------------------------
db_create_file_dest                  string      /data01/qing


create tablespace tan_2013_9 datafile size 5m autoextend on;
create tablespace tan_2013_10 datafile size 5m autoextend on;
create tablespace tan_2013_11 datafile size 5m autoextend on;
create tablespace tan_2013_12 datafile size 5m autoextend on;
create tablespace tan_2014_1 datafile size 5m autoextend on;
create tablespace tan_2014_2 datafile size 5m autoextend on;
create tablespace tan_2014_3 datafile size 5m autoextend on;
create tablespace tan_2014_4 datafile size 5m autoextend on;
create tablespace tan_2014_5 datafile size 5m autoextend on;
create tablespace tan_2014_6 datafile size 5m autoextend on;
create tablespace tan_2014_7 datafile size 5m autoextend on;
create tablespace tan_2014_8 datafile size 5m autoextend on;

conn tan/tan

SQL> create table tan
(t_id number(10),
t_name varchar2(100),
t_date date )
partition by range(t_date)
(partition tan_2013_9 values less than(to_date('2013-10-01','yyyy-mm-dd')) tablespace tan_2013_9,
partition tan_2013_10 values less than(to_date('2013-11-01','yyyy-mm-dd')) tablespace tan_2013_10,
partition tan_2013_11 values less than(to_date('2013-12-01','yyyy-mm-dd')) tablespace tan_2013_11,
partition tan_2013_12 values less than(to_date('2014-01-01','yyyy-mm-dd')) tablespace tan_2013_12,
partition tan_2014_1 values less than(to_date('2014-02-01','yyyy-mm-dd')) tablespace tan_2014_1,
partition tan_2014_2 values less than(to_date('2014-03-01','yyyy-mm-dd')) tablespace tan_2014_2,
partition tan_2014_3 values less than(to_date('2014-04-01','yyyy-mm-dd')) tablespace tan_2014_3,
partition tan_2014_4 values less than(to_date('2014-05-01','yyyy-mm-dd')) tablespace tan_2014_4,
partition tan_2014_5 values less than(to_date('2014-06-01','yyyy-mm-dd')) tablespace tan_2014_5,
partition tan_2014_6 values less than(to_date('2014-07-01','yyyy-mm-dd')) tablespace tan_2014_6,
partition tan_2014_7 values less than(to_date('2014-08-01','yyyy-mm-dd')) tablespace tan_2014_7,
partition tan_2014_8 values less than(to_date('2014-09-01','yyyy-mm-dd')) tablespace tan_2014_8 
);


create index ind_tan on tan(t_date) local
(
partition ind_tan_2013_9  tablespace tan_2013_9,
partition ind_tan_2013_10 tablespace tan_2013_10,
partition ind_tan_2013_11 tablespace tan_2013_11,
partition ind_tan_2013_12 tablespace tan_2013_12,
partition ind_tan_2014_1  tablespace tan_2014_1,
partition ind_tan_2014_2  tablespace tan_2014_2,
partition ind_tan_2014_3 tablespace tan_2014_3,
partition ind_tan_2014_4 tablespace tan_2014_4,
partition ind_tan_2014_5 tablespace tan_2014_5,
partition ind_tan_2014_6 tablespace tan_2014_6,
partition ind_tan_2014_7 tablespace tan_2014_7,
partition ind_tan_2014_8 tablespace tan_2014_8 
);



begin 
for i in 1.. 10000 loop
if( mod(i,12)+1 <=8) then
insert into tan values(i,'tan'||i,to_date('2014-'||(mod(i,12)+1)||'-01','yyyy-mm-dd'));
else 
insert into tan values(i,'tan'||i,to_date('2013-'||(mod(i,12)+1)||'-01','yyyy-mm-dd'));
end if;
end loop;
commit;
end;
/

SQL> select count(*) from tan partition(tan_2013_12) ;

  COUNT(*)
----------
       833

SQL> select count(*) from tan partition(tan_2013_9) ;

  COUNT(*)
----------
       833

SQL> select count(*) from tan partition(tan_2014_8) ;

  COUNT(*)
----------
       833

SQL> select count(*) from tan partition(tan_2014_1) ;

  COUNT(*)
----------
       833

SQL> select partition_name,tablespace_name from dba_segments
   where segment_name in ('TAN','IND_TAN');

PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------
TAN_2014_8                     TAN_2014_8
TAN_2014_7                     TAN_2014_7
TAN_2014_6                     TAN_2014_6
TAN_2014_5                     TAN_2014_5
TAN_2014_4                     TAN_2014_4
TAN_2014_3                     TAN_2014_3
TAN_2014_2                     TAN_2014_2
TAN_2014_1                     TAN_2014_1
TAN_2013_9                     TAN_2013_9
TAN_2013_12                    TAN_2013_12
TAN_2013_11                    TAN_2013_11
TAN_2013_10                    TAN_2013_10
IND_TAN_2014_8                 TAN_2014_8
IND_TAN_2014_7                 TAN_2014_7
IND_TAN_2014_6                 TAN_2014_6
IND_TAN_2014_5                 TAN_2014_5
IND_TAN_2014_4                 TAN_2014_4
IND_TAN_2014_3                 TAN_2014_3
IND_TAN_2014_2                 TAN_2014_2
IND_TAN_2014_1                 TAN_2014_1
IND_TAN_2013_9                 TAN_2013_9
IND_TAN_2013_12                TAN_2013_12
IND_TAN_2013_11                TAN_2013_11
IND_TAN_2013_10                TAN_2013_10
24 rows selected.

OLAP庫環境準備

<span style="font-family: Arial, Helvetica, sans-serif; font-size: 12px;">create tablespace tan_2013_7 datafile size 5m autoextend on;</span>
create tablespace tan_2013_8 datafile size 5m autoextend on;
 create table tan
(t_id number(10),
t_name varchar2(100),
t_date date )
partition by range(t_date)
(partition tan_2013_7 values less than(to_date('2013-08-01','yyyy-mm-dd')) tablespace tan_2013_7,
partition tan_2013_8 values less than(to_date('2013-09-01','yyyy-mm-dd')) tablespace tan_2013_8
);




create index ind_tan on tan(t_date) local
(
partition ind_tan_2013_7  tablespace tan_2013_7,
partition ind_tan_2013_8 tablespace tan_2013_8
);


begin 
for i in 1.. 10000 loop
insert into tan values(i,'tan'||i,to_date('2013-'||(mod(i,2)+7)||'-01','yyyy-mm-dd'));
end loop;
commit;
end;
/


SQL> select count(*) from tan partition(tan_2013_8);


  COUNT(*)
----------
      5000


SQL> select count(*) from tan partition(tan_2013_7);


  COUNT(*)
----------
      5000

2.分割槽交換  

現在要做的事是遷移2013年9月份資料。

建立個臨時表：
SQL> create table tmp_tan_2013_9 as select * from tan where 1=2;
SQL> create index ind_tmp_tan_2013_9 on tmp_tan_2013_9(t_date);


分割槽交換。
SQL> alter table tan exchange partition tan_2013_9 

    with table tmp_tan_2013_9 including indexes with validation;


驗證：
SQL> select count(*) from tan partition(tan_2013_9) ;

  COUNT(*)
----------
         0
SQL> select count(*) from tmp_tan_2013_9;
  COUNT(*)
----------
       833
SQL> select partition_name,tablespace_name from dba_segments
     where segment_name in ('TAN','IND_TAN');


PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------
TAN_2014_8                     TAN_2014_8
TAN_2014_7                     TAN_2014_7
TAN_2014_6                     TAN_2014_6
TAN_2014_5                     TAN_2014_5
TAN_2014_4                     TAN_2014_4
TAN_2014_3                     TAN_2014_3
TAN_2014_2                     TAN_2014_2
TAN_2014_1                     TAN_2014_1
TAN_2013_12                    TAN_2013_12
TAN_2013_11                    TAN_2013_11
TAN_2013_10                    TAN_2013_10
IND_TAN_2014_8                 TAN_2014_8
IND_TAN_2014_7                 TAN_2014_7
IND_TAN_2014_6                 TAN_2014_6
IND_TAN_2014_5                 TAN_2014_5
IND_TAN_2014_4                 TAN_2014_4
IND_TAN_2014_3                 TAN_2014_3
IND_TAN_2014_2                 TAN_2014_2
IND_TAN_2014_1                 TAN_2014_1
IND_TAN_2013_12                TAN_2013_12
IND_TAN_2013_11                TAN_2013_11
IND_TAN_2013_10                TAN_2013_10


22 rows selected.

3. 表空間傳輸：

更多關於表空間傳輸的內容：http://blog.csdn.net/bamuta/article/category/1138527


驗證表空間的自包含：
SQL> exec dbms_tts.transport_set_check('TAN_2013_9',TRUE);


PL/SQL procedure successfully completed.


SQL> select * from transport_set_violations;


no rows selected

另外表空間傳輸需要兩端庫的字符集一致。


匯出無資料：

SQL> alter tablespace tan_2013_9 read only;

[[email protected] ~]$ exp \'sys/oracle as sysdba\' tablespaces=tan_2013_9 transport_tablespace=y file=exp_tan_2013_9.dmp 

拷貝檔案
[[email protected] ~]$ scp exp_tan_2013_9.dmp 192.168.114.174:/home/oracle/
[[email protected] ~]$ scp /data01/qing/QING/datafile/o1_mf_tan_2013_9tht2cgh_.dbf 192.168.114.174:/data01/vm603/VM603/datafile/

在目標庫匯入元資料
[[email protected] ~]$ imp \'sys/oracle as sysdba\' transport_tablespace=y file=exp_tan_2013_9.dmp log=imp.log tablespaces=tan_2013_9 datafiles='/data01/vm603/VM603/datafile/o1_mf_tan_2013_9tht2cgh_.dbf'


將兩端庫的該表空間read write 
SQL>  alter tablespace tan_2013_9 read write;

4.目標庫再做分割槽交換

目標庫對就表增加分割槽：
SQL> alter table tan add partition tan_2013_9 values less than (to_date('2013-10-01','yyyy-mm-dd')) tablespace tan_2013_9;


Table altered.


SQL> select count(*) from tan partition(tan_2013_9);


  COUNT(*)
----------
         0


在目標庫做一次分割槽交換。
SQL> alter table tan exchange partition tan_2013_9 with table tmp_tan_2013_9 including indexes with validation;


Table altered.


檢查
SQL>  select count(*) from tan partition(tan_2013_9);


  COUNT(*)
----------
       833


SQL> select table_name,partition_name,tablespace_name from user_tab_partitions;
TABLE_NAME                     PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------ ------------------------------
TAN                            TAN_2013_8                     TAN_2013_8
TAN                            TAN_2013_7                     TAN_2013_7
TAN                            TAN_2013_9                     TAN_2013_9


SQL> select index_name,partition_name,tablespace_name from user_ind_partitions;
INDEX_NAME                     PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------ ------------------------------
IND_TAN                        IND_TAN_2013_8                 TAN_2013_8
IND_TAN                        IND_TAN_2013_7                 TAN_2013_7
IND_TAN                        TAN_2013_9                     TAN_2013_9

5.源庫刪掉已經遷移走的分割槽：

SQL> select table_name,partition_name,tablespace_name from user_tab_partitions;


TABLE_NAME                     PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------ ------------------------------
TAN                            TAN_2014_3                     TAN_2014_3
TAN                            TAN_2014_2                     TAN_2014_2
TAN                            TAN_2014_4                     TAN_2014_4
TAN                            TAN_2014_5                     TAN_2014_5
TAN                            TAN_2014_6                     TAN_2014_6
TAN                            TAN_2014_7                     TAN_2014_7
TAN                            TAN_2014_8                     TAN_2014_8
TAN                            TAN_2013_10                    TAN_2013_10
TAN                            TAN_2013_11                    TAN_2013_11
TAN                            TAN_2013_12                    TAN_2013_12
TAN                            TAN_2014_1                     TAN_2014_1
TAN                            TAN_2013_9                     USERS


12 rows selected.


SQL> <strong>alter table tan drop partition tan_2013_9;</strong>


Table altered.


SQL>  select table_name,partition_name,tablespace_name from user_tab_partitions;


TABLE_NAME                     PARTITION_NAME                 TABLESPACE_NAME
------------------------------ ------------------------------ ------------------------------
TAN                            TAN_2014_3                     TAN_2014_3
TAN                            TAN_2014_2                     TAN_2014_2
TAN                            TAN_2014_4                     TAN_2014_4
TAN                            TAN_2014_5                     TAN_2014_5
TAN                            TAN_2014_6                     TAN_2014_6
TAN                            TAN_2014_7                     TAN_2014_7
TAN                            TAN_2014_8                     TAN_2014_8
TAN                            TAN_2013_10                    TAN_2013_10
TAN                            TAN_2013_11                    TAN_2013_11
TAN                            TAN_2013_12                    TAN_2013_12
TAN                            TAN_2014_1                     TAN_2014_1


相關推薦

Oracle用分割槽表分割槽交換做歷史資料遷移

一。說明：      OLTP庫中有些表資料量大，且每月有持續的大量資料增加，由於歷史資料在此庫中不再做訪問，而是在另1個OLAP庫中做分析，所以會對歷史資料遷移至OLAP庫中。對這種歷史資料遷移的操作，較好的辦法是該表採用分割槽表。按時間分割槽後，可以對分割槽進行遷移。

oracle 詳解表分割槽

此文從以下幾個方面來整理關於分割槽表的概念及操作: 1.表空間及分割槽表的概念 2.表分割槽的具體作用 3.表分割槽的優缺點 4.表分割槽的幾種型別及操作方法 5.對錶分割槽的維護性操作. 表空間及分割槽表的概念 表空間：是一個或多個數據檔案的集合，所有的資料物件都存放在指定的表

SQLSERVER2008R2建立分割槽表、轉換分割槽表、交換資料

----將普通錶轉換為分割槽表  1. 在分割槽依據列上建立一個聚集索引，並在聚集索引上使用分割槽方案即可。 若該普通表有主鍵和聚集索引，且聚集索引不是分割槽列，就要把該主鍵刪除，重新建立該主鍵，但把該主鍵建立為非聚集索引，接著在分割槽列上建立聚集索引即可。 alter table 普通表名     --刪

oracle drop、truncate 分割槽表分割槽注意

由於客戶某表月初通過ogg匯入資料較多，ogg未能完成。因此決定使用資料泵臨時匯入。 停止ogg，刪除表分割槽資料。通過delete加條件篩選資料，發現數據量較大，嘗試刪除，執行很長時間後，undo不夠用報錯。 決定，truancate該分割槽。查看錶的分割槽，發現存

Hive: 建立分割槽表（partition表）及分割槽表匯入csv文字檔案資料

2018.11.21 文章目錄 前言 方法 前言 某專案生產環境中的Hive是按月份分割槽，而測試環境的沒有分割槽，導致部分功能無法驗證。 方法 基本思路：分別建立兩個表，一張是分割槽表，另一

Oracle 兩張表名交換

CREATE OR REPLACE PROCEDURE P_SWICH_OBJECT(PI_FROM VARCHAR2, PI_TO VARCHAR2) IS TMP_SWITCH_NAME VAR

建立分割槽表+分割槽+分割槽表的分類+建立範圍分割槽表+查詢分割槽裡面的資料

分割槽 1適用於處理大資料量，如TB級的 2為了提高巨型資料庫的讀寫和查詢速度 3使用者可以在建立表是應用分割槽技術，將資料以分割槽形式儲存 4分割槽是指將巨型的表或者索引分隔成相對較小的，可獨

oracle 用一個表的多個欄位更新另一個表對應的多個欄位

update wx_weather a set (a.high_l,a.low_l)= (select high_l, low_l from wx_original_weather b where a

Oracle用一個表的列更新另一個表對應記錄的列，一不小心有欄位就更新為空了

剛開始我在網上搜索的用的下面這種方法：     update tbl1 a 　　set (a.col1, a.col2) = (select b.col1, b.col2 　　from tbl2 b 　　where a.key = b.key) 然後，使用後把我

分割槽表分割槽欄位的update操作

預設情況下，oracle的分割槽表對於分割槽欄位是不允許進行update操作的，如果有對分割槽欄位行進update，就會報錯——ORA-14402: 更新分割槽關鍵字列將導致分割槽的更改。但是可以通過開啟表的row movement屬性來允許對分割槽欄位的update操作。例：建立分割槽表test_part進

ORACLE隨機從表中取一條資料作為函式返回值

需求是這樣的：有一張經緯度表，需要從中隨機取一條資料插入另一張表作為其中的兩個欄位。插入過程在儲存過程中，所以需要函式返回值為經緯度資料物件。 首先，生成返回值物件POINT_OBJECT，包括經度緯度。 --生成經緯度 CREATE OR REPLACE TYPE POINT_OBJECT AS OB

ORACLE 資料庫、表空間、SCHEMA、資料檔案的概念

      在Oracle中，結合邏輯儲存與物理儲存的概念，我們可以這樣來理解資料庫、表空間、SCHEMA、資料檔案這些概念：      資料庫是一個大圈，裡面圈著的是表空間，表空間裡面是資料檔案，那麼schema是什麼呢？schema是一個邏輯概念，是一個集合，但schem

oracle資料庫和表空間的最大資料容量限制

from  http://www.enkj.com/help/newscontent/113209 資料庫顧名思義是資料的集合也是虛擬主機搭建網站儲存資料的工具，而Oracle則是管理這些資料集合的軟體系統，它是一個物件關係型的資料庫管理系統。 表空間是Oracle對物理

大資料量單表在不同表名列名間的資料遷移

（windows Server 2008 R2+oracle 11g） 單表資料1.5億條記錄，90個欄位，檔案大小70G 處理思路：源端單表exp，目標端單表imp，再通過欄位對應關係轉入到目標表（不同表名、列名） exp username1/password1 buffer=6400

歷史資料遷移總結

 這段時間一直忙於一個專案的歷史資料遷移，這期間遇到的問題千奇百怪，可以說杯具是接二連三。現將這些問題簡單總結一下： 第一個問題：不知道老系統的資料庫結構和程式碼的結構，客戶只給了我們一個執行包和dmp檔案，一下子不知道如何還原老系統的環境，在糾結中不停的百度， 後來通過R

256變4096：分庫分表擴容如何實現平滑資料遷移？

簡介： 本文作者就一個高德打車彈外訂單系統進行了一次擴分庫分表和資料庫遷移。 一、 背景 2020年，筆者負責的一個高德打車彈外訂單系統進行了一次擴分庫分表和資料庫遷移。該訂單系統整體部署在阿里雲上，服務使用阿里雲ECS部署，資料庫採用阿里雲RDS，配置中心基於阿里雲ACM自研，資料同步基於阿里雲DT

匯入作業資料集total.csv到Hive中，用日期做為分割槽表的分割槽ID

hive> select * from t_reverse_repurchase where tradedate=='20130723' and securityid='204001' limit 10;OK145651  204001  2.65    104300  2.66    100     

2.ORACLE分割槽表遷移MySQL分割槽表

介紹 由於MySQL沒有類似於ORACLE間隔分割槽類似的功能，所以遷移分割槽表的時候工作量較大，下面就把常用到的一些工具指令碼及操作過程列在下面。 操作 1 修改分割槽表定義 ORACLE增加了間隔分割槽功能，可以在資料插入的時候自動新增分割槽，但是MySQL就不具備這個功

簡單瞭解,使用oracle中的索引,表分割槽

索引的分類 如下: 物理分類 邏輯分類 分割槽或非分割槽索引 單列或組合索引 B樹索引(標準索引) 唯一或非唯一索引 正常或反向鍵索引 基於函式索引 點陣

oracle 11g 分割槽表建立（自動按年分割槽）

前言：工作中有一張表一年會增長100多萬的資料，量雖然不大，可是表字段多，所以一年下來也會達到 1G，而且只增不改，故考慮使用分割槽表來提高查詢效能，提高維護性。 　　oracle 11g 支援自動分割槽，不過得在建立表時就設定好分割槽。 　　如果已經存在的表需要改分割槽表，就需要將當前表 re