1. 程式人生 > >使用DBMS_REDEFINITION線上切換普通表到分割槽表

使用DBMS_REDEFINITION線上切換普通表到分割槽表

      隨著資料庫資料量的不斷增長,有些表需要由普通的堆錶轉換為分割槽表的模式。有幾種不同的方法來對此進行操作,諸如匯出表資料,然後建立分割槽表再匯入資料到分割槽表;使用EXCHANGE PARTITION方式來轉換為分割槽表以及使用DBMS_REDEFINITION來線上重定義分割槽表。本文描述的是使用DBMS_REDEFINITION來實現,下面是具體的操作示例。

1、準備環境

--建立使用者
SQL> create user leshami identified by xxx;

SQL> grant dba to leshami;

--建立演示需要用到的表空間
SQL> create tablespace tbs_tmp datafile '/u02/database/SYBO2/oradata/tbs_tmp.dbf' size 10m autoextend on;

SQL> alter user leshami default tablespace tbs_tmp;

SQL> create tablespace tbs1 datafile '/u02/database/SYBO2/oradata/tbs1.dbf' size 10m autoextend on;

SQL> create tablespace tbs2 datafile '/u02/database/SYBO2/oradata/tbs2.dbf' size 10m autoextend on;

SQL> create tablespace tbs3 datafile '/u02/database/SYBO2/oradata/tbs3.dbf' size 10m autoextend on;

SQL> conn leshami/xxx

-- 建立一個lookup表
CREATE TABLE lookup (
  id            NUMBER(10),
  description   VARCHAR2(50)
);

--新增主鍵約束
ALTER TABLE lookup ADD (
  CONSTRAINT lookup_pk PRIMARY KEY (id)
);

--插入資料
INSERT INTO lookup (id, description) VALUES (1, 'ONE');
INSERT INTO lookup (id, description) VALUES (2, 'TWO');
INSERT INTO lookup (id, description) VALUES (3, 'THREE');
COMMIT;

--建立一個用於切換到分割槽的大表
CREATE TABLE big_table (
  id            NUMBER(10),
  created_date  DATE,
  lookup_id     NUMBER(10),
  data          VARCHAR2(50)
);

--填充資料到大表
DECLARE
  l_lookup_id    lookup.id%TYPE;
  l_create_date  DATE;
BEGIN
  FOR i IN 1 .. 1000000 LOOP
    IF MOD(i, 3) = 0 THEN
      l_create_date := ADD_MONTHS(SYSDATE, -24);
      l_lookup_id   := 2;
    ELSIF MOD(i, 2) = 0 THEN
      l_create_date := ADD_MONTHS(SYSDATE, -12);
      l_lookup_id   := 1;
    ELSE
      l_create_date := SYSDATE;
      l_lookup_id   := 3;
    END IF;
    
    INSERT INTO big_table (id, created_date, lookup_id, data)
    VALUES (i, l_create_date, l_lookup_id, 'This is some data for ' || i);
  END LOOP;
  COMMIT;
END;
/

--為大表新增主、外來鍵約束,索引,以及新增觸發器等.
ALTER TABLE big_table ADD (
  CONSTRAINT big_table_pk PRIMARY KEY (id)
);

CREATE INDEX bita_created_date_i ON big_table(created_date);

CREATE INDEX bita_look_fk_i ON big_table(lookup_id);

ALTER TABLE big_table ADD (
  CONSTRAINT bita_look_fk
  FOREIGN KEY (lookup_id)
  REFERENCES lookup(id)
);

CREATE OR REPLACE TRIGGER tr_bf_big_table
   BEFORE UPDATE OF created_date
   ON big_table
   FOR EACH ROW
BEGIN
   :new.created_date := TO_CHAR (SYSDATE, 'yyyymmdd hh24:mi:ss');
END tr_bf_big_table;
/

--收集統計資訊
EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'LOOKUP', cascade => TRUE);
EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'BIG_TABLE', cascade => TRUE);

--表上的索引相關資訊
SQL> @idx_info
TABLE_NAME                INDEX_NAME                     CL_NAM                  STATUS   PAR 
------------------------- ------------------------------ --------------------    -------- --- 
LOOKUP                    LOOKUP_PK                      ID                      VALID    NO  
BIG_TABLE                 BIG_TABLE_PK                   ID                      VALID    NO 
BIG_TABLE                 BITA_CREATED_DATE_I            CREATED_DATE            VALID    NO 
BIG_TABLE                 BITA_LOOK_FK_I                 LOOKUP_ID               VALID    NO

--建立一箇中間表(分割槽表)
CREATE TABLE big_table2 (
  id            NUMBER(10),
  created_date  DATE,
  lookup_id     NUMBER(10),
  data          VARCHAR2(50)
)
PARTITION BY RANGE (created_date)
(PARTITION big_table_2012 VALUES LESS THAN (TO_DATE('01/01/2013', 'DD/MM/YYYY')) tablespace tbs1,
 PARTITION big_table_2013 VALUES LESS THAN (TO_DATE('01/01/2014', 'DD/MM/YYYY')) tablespace tbs2,
 PARTITION big_table_2014 VALUES LESS THAN (MAXVALUE) tablespace tbs3);

2、切換普通表到分割槽表

----校驗表能否被重定義 
EXEC DBMS_REDEFINITION.CAN_REDEF_TABLE('LESHAMI', 'BIG_TABLE');

--開始重定義
BEGIN
 DBMS_REDEFINITION.start_redef_table(
   uname      => 'LESHAMI',        
   orig_table => 'BIG_TABLE',
   int_table  => 'BIG_TABLE2');
END;
/

--可選步驟,用於同步重定義表與臨時表  
BEGIN
  dbms_redefinition.sync_interim_table(
    uname      => 'LESHAMI',        
    orig_table => 'BIG_TABLE',
    int_table  => 'BIG_TABLE2');
END;
/

--為中間表新增相應的索引,約束等
ALTER TABLE big_table2 ADD (
  CONSTRAINT big_table_pk2 PRIMARY KEY (id)
);

CREATE INDEX bita_created_date_i2 ON big_table2(created_date) LOCAL;

CREATE INDEX bita_look_fk_i2 ON big_table2(lookup_id) LOCAL;

ALTER TABLE big_table2 ADD (
  CONSTRAINT bita_look_fk2
  FOREIGN KEY (lookup_id)
  REFERENCES lookup(id)
);

--為中間表新增觸發器
CREATE OR REPLACE TRIGGER tr_bf_big_table2
   BEFORE UPDATE OF created_date
   ON big_table2
   FOR EACH ROW
BEGIN
   :new.created_date := TO_CHAR (SYSDATE, 'yyyymmdd hh24:mi:ss');
END tr_bf_big_table2;
/

-- Gather statistics on the new table.
EXEC DBMS_STATS.gather_table_stats('LESHAMI', 'BIG_TABLE2', cascade => TRUE);

--完成線上重定義
BEGIN
  dbms_redefinition.finish_redef_table(      --Author : Leshami
    uname      => 'LESHAMI',                 --Blog   : http://blog.csdn.net/leshmai  
    orig_table => 'BIG_TABLE',
    int_table  => 'BIG_TABLE2');
END;
/

--可以看到新的表BIG_TABLE上的索引已經成為分割槽索引,如最後一列所示
SQL> @idx_info

TABLE_NAME                     INDEX_NAME                     CL_NAM                         STATUS   PAR
------------------------------ ------------------------------ ------------------------------ -------- ---
BIG_TABLE                      BIG_TABLE_PK2                  ID                             VALID    NO
BIG_TABLE                      BITA_LOOK_FK_I2                LOOKUP_ID                      N/A      YES
BIG_TABLE                      BITA_CREATED_DATE_I2           CREATED_DATE                   N/A      YES
BIG_TABLE2                     BITA_CREATED_DATE_I            CREATED_DATE                   VALID    NO
BIG_TABLE2                     BIG_TABLE_PK                   ID                             VALID    NO
BIG_TABLE2                     BITA_LOOK_FK_I                 LOOKUP_ID                      VALID    NO
LOOKUP                         LOOKUP_PK                      ID                             VALID    NO

--校驗分割槽表
SQL> select table_name, partition_name,high_value,num_rows from user_tab_partitions where table_name='BIG_TABLE';

TABLE_NAME                PARTITION_NAME                 HIGH_VALUE                        NUM_ROWS
------------------------- ------------------------------ ------------------------------- ----------
BIG_TABLE                 BIG_TABLE_2012                 TO_DATE(' 2013-01-01 00:00:00',     333793
BIG_TABLE                 BIG_TABLE_2013                 TO_DATE(' 2014-01-01 00:00:00',     332025
BIG_TABLE                 BIG_TABLE_2014                 MAXVALUE                            333128

3、切換後的收尾工作

--移除中間表
DROP TABLE big_table2;

--根據需要可以重新命名索引及約束名
ALTER TABLE big_table RENAME CONSTRAINT big_table_pk2 TO big_table_pk;
ALTER TABLE big_table RENAME CONSTRAINT bita_look_fk2 TO bita_look_fk;
ALTER INDEX big_table_pk2 RENAME TO big_table_pk;
ALTER INDEX bita_look_fk_i2 RENAME TO bita_look_fk_i;
ALTER INDEX bita_created_date_i2 RENAME TO bita_created_date_i;

4、其它

--在使用DBMS_REDEFINITION期間,如果我們使用COPY_TABLE_DEPENDENTS過程,其索引依舊為非分割槽索引
--需要刪除原來的索引之後,然後重新建立為新的本地分割槽索引
/*SQL> set timing off
SQL> variable num_errors number

BEGIN
DBMS_REDEFINITION.COPY_TABLE_DEPENDENTS
 (uname=>'LESHAMI',
 orig_table=>'BIG_TABLE',
 int_table=>'BIG_TABLE2',
 num_errors=>:num_errors);
END;
/

SQL> print num_errors

NUM_ERRORS
----------
         0   */
         
--------------------------------------------------------
--如下為使用COPY_TABLE_DEPENDENTS依賴物件之後表BIG_TABLE2多出了幾個TMP$$開頭的索引,但是索引依舊為普通索引,而非分割槽索引  
SQL> @idx_info2 
TABLE_NAME                INDEX_NAME                     CL_NAM               CL_POS STATUS   PAR
------------------------- ------------------------------ -------------------- ------ -------- ---
LOOKUP                    LOOKUP_PK                      ID                        1 VALID    NO
BIG_TABLE                 BIG_TABLE_PK                   ID                        1 VALID    NO
BIG_TABLE                 BITA_CREATED_DATE_I            CREATED_DATE              1 VALID    NO
BIG_TABLE                 BITA_LOOK_FK_I                 LOOKUP_ID                 1 VALID    NO
BIG_TABLE2                TMP$$_BIG_TABLE_PK0            ID                        1 VALID    NO
BIG_TABLE2                TMP$$_BITA_CREATED_DATE_I0     CREATED_DATE              1 VALID    NO
BIG_TABLE2                TMP$$_BITA_LOOK_FK_I0          LOOKUP_ID                 1 VALID    NO

相關推薦

使用DBMS_REDEFINITION線上切換普通分割槽

      隨著資料庫資料量的不斷增長,有些表需要由普通的堆錶轉換為分割槽表的模式。有幾種不同的方法來對此進行操作,諸如匯出表資料,然後建立分割槽表再匯入資料到分割槽表;使用EXCHANGE PARTITION方式來轉換為分割槽表以及使用DBMS_REDEFINITION來線

hive:普通 外部 分割槽

1. 普通表     普通表的建立,如上所說,不講了。其中,一個表,就對應一個表名對應的檔案。 2. 外部表     EXTERNAL 關鍵字可以讓使用者建立一個外部表,在建表的同時指定一個指向實際資料的路徑(L

Hive建(分割槽、非分割槽)例項

USE ODS; DROP TABLE IF EXISTS s01_t_sys_file; CREATE TABLE s01_t_sys_file (   id                   STRING COMMENT '自增長列id',   biz_id             STRING CO

Hive之管理 外部 分割槽

一Hive 建立表的三種方式 1.1普通建立 1.2查詢語句建立 CREATETABLE IF NOT EXISTS ext_1 AS SELECT deptno,dname,loc FROMdep

Hive筆記三之內部,外部,分割槽,桶

內部表 也稱為受控表,表中的資料受表定義影響,表刪除後表中資料隨之刪除。在COLUMNS_V2表中TBL_TYPE顯示為MANAGED_TABLE 表刪除後實際上是從hdfs上將t1目錄移到回收站中,另外刪除TBLS表中的表定義資訊 hive> drop ta

動手實驗 Oracle 線上重定義普通分割槽

#表的線上重定義 #普通的堆表定義為分割槽表 #思路-----現有emp1表,需要定義為分割槽表.需要一個臨時分割槽表emp1_temp.把emp1_temp定義為分割槽表之後,將emp1 和 emp1_temp進行互換。 #完成emp1定義為分割槽表 #構造emp1 [e

ORACLE線上重定義--將普通錶轉化為分割槽

10gR2 需要將一個普通錶轉為按月分割槽提高查詢效率 測試如下: 一、建立測試表 SQL> CREATE TABLE T(ID NUMBER ,TIME DATE); Table created. SQL> DESC T; Name

使用ORACLE線上重定義將普通改為分割槽

1.首先建立測試表,並插入測試資料: create table myPartition(id number,code varchar2(5),identifier varchar2(20)); insert into myPartition values(1,'01','

Oracle dbms_redefinition線上重定義結構

 剛接手一套系統應用資料庫,因為專案建設期間種種原因,庫是非歸檔模式也沒有備份,更讓我無語的是有個表增長的比較快,將近90G大小,每隔一段時間都要刪除前三個月以前的資料,然後再用shrink收縮空間,因為是非分割槽表,shrink很是浪費時間,而且很多時間無法正常完成shri

Oracle普通修改為分割槽的方法

資料庫版本是9.2.0.6 需要將幾個1T左右的普通表變更為分割槽表. 嘗試過下面三種方法: 1.先建立空的分割槽表,然後將原表中的資料insert進去; 2.使用Oracle的線上重定義工具 3.CTAS方法. 執行辦法,比較: 第一種方法:先建立空的分割槽表,然後將原

程式碼 | Spark讀取mongoDB資料寫入Hive普通分割槽

版本: spark 2.2.0  hive 1.1.0  scala 2.11.8  hadoop-2.6.0-cdh5.7.0  jdk 1.8  MongoDB 3.6.4 一 原始資料及Hive表  MongoDB資

mysql 普通錶轉分割槽

1.按照現有表結構,建立一個臨時表,用於分割槽錶轉換 mysql> desc ClientActionTrack; +---------------+---------------+------+-----+---------+----------------+ |

oracle中將普通變更為分割槽

1、建立表 SQL> CREATE TABLE T (ID NUMBER PRIMARY KEY, TIME DATE); 2、插入資料 SQL> INSERT INTO T SELECT ROWNUM, CREATED FROM DBA_OBJECTS;S

11G普通分割槽錶轉化為間隔分割槽

--建立普通範圍分割槽表CREATE TABLE clg_range_table2(req_num NUMBER NOT NULL, req_date DATE NOT NULL, status     VARCHAR2(2) not NULL)PARTITION BY RA

SQL Server 2005中的分割槽(六):將已分割槽錶轉換成普通

我的俄羅斯名叫作“不折騰不舒服斯基”,所以,不將分割槽表好好折騰一下,我就是不舒服。     在前面,我們介紹過怎麼樣直接建立一個分割槽表,也介紹過怎麼將一個普通錶轉換成一個分割槽表。那麼,這兩種方式建立的表有什麼區別呢?現在,我又最新地建立了兩個表:     第

Hive內部、外部分割槽以及外部分割槽建立以及匯入資料例項講解

源資料格式: [[email protected]144113 zhang_dd_edw]$ more data.txt 25502#hdfs://ns1/user/dd_edw/adm.db/adm_dealer_order_list_di_big/dt=2015-07-

PostgreSQL11分割槽的新特性

本文主要介紹PostgreSQL11分割槽表的一些新的特性,實現了PostgreSQL10版本中無法實現的一些功能。 1、UPDATE操作可以跨分割槽移動行 PostgreSQL 10不允許執行可能導致更新結束時行會移動到其他不同分割槽的更新。但是在PostgreSQL 11中,是可以這

2.ORACLE分割槽遷移MySQL分割槽

介紹 由於MySQL沒有類似於ORACLE間隔分割槽類似的功能,所以遷移分割槽表的時候工作量較大,下面就把常用到的一些工具指令碼及操作過程列在下面。 操作 1 修改分割槽表定義 ORACLE增加了間隔分割槽功能,可以在資料插入的時候自動新增分割槽,但是MySQL就不具備這個功

sql server 建立分割槽

建立檔案組 alter database db_sp_360toandroid add filegroup Before201701alter database db_sp_360toandroid add filegroup userEventInfo201701alter databa

網際網路公司為啥不使用mysql分割槽

解決什麼問題? 回答:當mysql單表的資料庫過大時,資料庫的訪問速度會下降,“資料量大”問題的常見解決方案是“水平切分”。   mysql常見的水平切分方式有哪些? 回答:分庫分表,分割槽表   什麼是mysql的分庫分表? 回答:把一個很大的庫(表