2. 程式人生 > >postgresql基礎學習（二）——TOAST,分割槽表

postgresql基礎學習（二）——TOAST,分割槽表

阿新 • • 發佈：2018-11-28

目錄

TOAST簡介

變長型別

TRUNK

TOAST策略

heap-only tuple技術簡介

表繼承

分割槽表

分割槽表操作

建立父表

建立子表

建立子表索引

建立觸發器：

小結：

TOAST簡介

全稱The Oversized-Attributes Storage Technique，超大欄位儲存技術。

PG頁面（block）通常為8kb，不允許跨越多個頁面。大欄位(超過1/4 blocksize)會被壓縮 或者 分片成多行存到另一張系統表——TOAST表。

只有變長的資料型別才能支援TOAST。（ 定長的大欄位如何處理？ 暫不知道，日後再說）

變長型別

bit0 bit1 bits 2~31 N bytes
壓縮標誌 行外標誌 length value or pointer

前2 bits為標誌位，30bits長度，value實際長度，非壓縮後長度。

壓縮標誌，如果置1，那麼value是壓縮的。

行外標誌，如果置1，那麼長度後面的value將是一個指標，指標指向TOAST表中的位置。

TRUNK

行外儲存切成多個chunk塊，chunk為四分之一block大小。

TOAST表裡包含N個chunk塊，每一個chunk塊當做一個獨立的行。

trunk_id trunk_seq trunk_data
OID 序列號 實際資料

TOAST指標資料：TOAST‘s oid, chunk_id(oid), 未壓縮資料長度，壓縮後資料長度。共20 bytes

TOAST策略


PLAIN：避免壓縮和行外儲存
EXTENDED：允許壓縮和行外儲存，先壓縮，猶大則行外存
EXERNA：允許行外存，不虛壓縮
MAIN： 允許壓縮，禁止行外存

指定策略

testdb=# ALTER TABLE t2 ALTER title SET STORAGE MAIN;
ALTER TABLE
testdb=# \d+ t2 
                          Table "public.t2"
 Column |  Type   | Modifiers | Storage | Stats target | Description 
--------+---------+-----------+---------+--------------+-------------
 id     | integer |           | plain   |              | 
 title  | text    |           | main    |              | 

testdb=#

 

heap-only tuple技術簡介

表上設定儲存引數fillfactor，這個叫填充因子，設定一個數據塊中只寫入百分之多少，剩下的部分不再填充

那剩下的空間幹嘛用呢 ？ 資料更新。

當更新一條資料，如果有空閒空間，直接再後面插入一條新的資料，再把舊行和新行形成連結串列。

這樣不需要更新索引，也可以快速找到更新後的資料。

如圖所示更新data1, 將新資料填入該block空閒部分，再將data1->next 指向新資料。

 

表繼承

類似於C++等面向物件的語言中類的繼承，PostgreSql支援表繼承。

Select父表，會顯示其下所有子表的資料。

舉例，父表computer, 子表有dell和hasee。

testdb=# select * from only computer;
 name  |   cpu    | memory 
-------+----------+--------
 oldPC | i5-4570k |     12
(1 row)

testdb=# select * from computer;
     name      |    cpu    | memory 
---------------+-----------+--------
 oldPC         | i5-4570k  |     12
 laptop_ck     | i5-8250u  |     12
 andoverlaptop | i7-7700hq |     16
 gamebook      | i7-8579H  |      8
(4 rows)

testdb=# 
testdb=# 
testdb=# select * from dell;
     name      |    cpu    | memory |    model    
---------------+-----------+--------+-------------
 laptop_ck     | i5-8250u  |     12 | 15E8525
 andoverlaptop | i7-7700hq |     16 | inspire5000
(2 rows)

testdb=# select * from hasee;
   name   |   cpu    | memory |  model   | usedfor | graphisc 
----------+----------+--------+----------+---------+----------
 gamebook | i7-8579H |      8 | z7m-kp7s | Game    | 1050Ti
(1 row)

testdb=# \d+ computer
                       Table "public.computer"
 Column |  Type   | Modifiers | Storage  | Stats target | Description 
--------+---------+-----------+----------+--------------+-------------
 name   | text    |           | extended |              | 
 cpu    | text    |           | extended |              | 
 memory | integer |           | plain    |              | 
Child tables: dell,
              hasee

testdb=#

分割槽表

分割槽表是通過繼承來實現。 父表不定義任何約束條件，N個子表與父表一樣結構，子表加約束條件。

按照一定規則，把資料分別儲存到不同的子表裡面去。

分割槽表的好處是啥？

1. 按時間分割槽，刪除歷史資料很快，舊資料也可以遷移到便宜慢速的儲存介質
2. 按時間分割槽，近時間高頻使用的分割槽表索引可以完全快取到記憶體
3. 一個分割槽是集中的，針對一個分割槽的操作，不會像大表一樣離散

建立步驟：
1. 建立父表，不定義任何檢查約束
2. 建立幾個字表，一般不增加欄位
3. 分割槽表增加約束
4. 分割槽表字段增加索引
5. 定義規則or觸發器，對主表的操作重定向到分割槽表。這一點很像面向物件的多型。

分割槽表操作

建立父表


testdb=# create table mileage_detail(
testdb(# plate_number varchar(10) not null,
testdb(# mdate         date not null,
testdb(# mileage     int not null,
testdb(# brand   varchar(10),
testdb(# model      varchar (10),
testdb(# PRIMARY KEY(plate_number, mdate)
testdb(# );
CREATE TABLE
testdb=# 
testdb=# \d
             List of relations
 Schema |      Name      | Type  |  Owner   
--------+----------------+-------+----------
 public | computer       | table | postgres
 public | dell           | table | postgres
 public | hasee          | table | postgres
 public | mileage_detail | table | postgres
 public | t1             | table | postgres
 public | t2             | table | postgres
(6 rows)

testdb=# 
testdb=# \d+ mileage_detail
                              Table "public.mileage_detail"
    Column    |         Type          | Modifiers | Storage  | Stats target | Description 
--------------+-----------------------+-----------+----------+--------------+-------------
 plate_number | character varying(10) | not null  | extended |              | 
 mdate        | date                  | not null  | plain    |              | 
 mileage      | integer               | not null  | plain    |              | 
 brand        | character varying(10) |           | extended |              | 
 model        | character varying(10) |           | extended |              | 
Indexes:
    "mileage_detail_pkey" PRIMARY KEY, btree (plate_number, mdate)

testdb=# 
testdb=#

建立子表

create table mileage_detail_y2018m09(CHECK (mdate >= DATE '2018-09-01' 
AND mdate < DATE '2018-10-01')) INHERITS(mileage_detail);

create table mileage_detail_y2018m10(CHECK (mdate >= DATE '2018-10-01' 
AND mdate < DATE '2018-11-01')) INHERITS(mileage_detail);

create table mileage_detail_y2018m11(CHECK (mdate >= DATE '2018-11-01' 
AND mdate < DATE '2018-12-01')) INHERITS(mileage_detail);

testdb=# \d+ mileage_detail
                              Table "public.mileage_detail"
    Column    |         Type          | Modifiers | Storage  | Stats target | Description 
--------------+-----------------------+-----------+----------+--------------+-------------
 plate_number | character varying(10) | not null  | extended |              | 
 mdate        | date                  | not null  | plain    |              | 
 mileage      | integer               | not null  | plain    |              | 
 brand        | character varying(10) |           | extended |              | 
 model        | character varying(10) |           | extended |              | 
Indexes:
    "mileage_detail_pkey" PRIMARY KEY, btree (plate_number, mdate)
PROCEDURE mileage_detail_insert_trigger()
Child tables: mileage_detail_y2018m09,
              mileage_detail_y2018m10,
              mileage_detail_y2018m11

建立子表索引

CREATE INDEX mileage_detail_y2018m09_mdate ON mileage_detail_y2018m09 (mdate);
CREATE INDEX mileage_detail_y2018m10_mdate ON mileage_detail_y2018m10 (mdate);
CREATE INDEX mileage_detail_y2018m11_mdate ON mileage_detail_y2018m11 (mdate);

建立觸發器：

觸發函式

CREATE OR REPLACE FUNCTION mileage_detail_insert_trigger()
RETURNS TRIGGER AS $$
BEGIN
IF (NEW.mdate >= DATE '2018-09-01' AND NEW.mdate < DATE '2018-10-01') THEN
INSERT INTO mileage_detail_y2018m09 VALUES (NEW.*);
ELSIF (NEW.mdate >= DATE '2018-10-01' AND NEW.mdate < DATE '2018-11-01') THEN
INSERT INTO mileage_detail_y2018m10 VALUES (NEW.*);
ELSIF (NEW.mdate >= DATE '2018-11-01' AND NEW.mdate < DATE '2018-12-01') THEN
INSERT INTO mileage_detail_y2018m11 VALUES (NEW.*);
ELSE
RAISE EXCEPTION 'Date out of range. Fix the mileage_detail_insert_trigger function';
END IF;
RETURN NULL;
END;
$$
LANGUAGE plpgsql;

觸發器

觸發器
CREATE TRIGGER insert_mileage_detail_trigger
	BEFORE INSERT ON mileage_detail
	FOR EACH ROW EXECUTE PROCEDURE mileage_detail_insert_trigger ();
	

testdb=# \d+ mileage_detail
                              Table "public.mileage_detail"
    Column    |         Type          | Modifiers | Storage  | Stats target | Description 
--------------+-----------------------+-----------+----------+--------------+-------------
 plate_number | character varying(10) | not null  | extended |              | 
 mdate        | date                  | not null  | plain    |              | 
 mileage      | integer               | not null  | plain    |              | 
 brand        | character varying(10) |           | extended |              | 
 model        | character varying(10) |           | extended |              | 
Indexes:
    "mileage_detail_pkey" PRIMARY KEY, btree (plate_number, mdate)
Triggers:
    insert_mileage_detail_trigger BEFORE INSERT ON mileage_detail FOR EACH ROW EXECUTE PROCEDURE mileage_detail_insert_trigger()
Child tables: mileage_detail_y2018m09,
              mileage_detail_y2018m10,
              mileage_detail_y2018m11

testdb=# 
testdb=#

驗證觸發器分表

testdb=# 
testdb=# INSERT INTO mileage_detail VALUES('AJ1E08', DATE '2018-09-05', 10000, 'toyota', 'corolla');
INSERT 0 0
testdb=# INSERT INTO mileage_detail VALUES('AJ1E08', DATE '2018-09-07', 10200, 'toyota', 'corolla');
INSERT 0 0
testdb=# 
testdb=# 
testdb=# INSERT INTO mileage_detail VALUES('AJ1E08', DATE '2018-10-22', 11200, 'toyota', 'corolla');
INSERT 0 0
testdb=# 
testdb=# INSERT INTO mileage_detail VALUES('AJ1E08', DATE '2018-11-21', 12200, 'toyota', 'corolla');
INSERT 0 0
testdb=# 
testdb=# select * from mileage_detail
testdb-# ;
 plate_number |   mdate    | mileage | brand  |  model  
--------------+------------+---------+--------+---------
 AJ1E08       | 2018-09-05 |   10000 | toyota | corolla
 AJ1E08       | 2018-09-07 |   10200 | toyota | corolla
 AJ1E08       | 2018-10-22 |   11200 | toyota | corolla
 AJ1E08       | 2018-11-21 |   12200 | toyota | corolla
(4 rows)

testdb=# select * from mileage_detail
mileage_detail           mileage_detail_y2018m09  mileage_detail_y2018m10  mileage_detail_y2018m11
testdb=# select * from mileage_detail_y2018m09 
testdb-# ;
 plate_number |   mdate    | mileage | brand  |  model  
--------------+------------+---------+--------+---------
 AJ1E08       | 2018-09-05 |   10000 | toyota | corolla
 AJ1E08       | 2018-09-07 |   10200 | toyota | corolla
(2 rows)

testdb=# select * from mileage_detail_y2018m10;
 plate_number |   mdate    | mileage | brand  |  model  
--------------+------------+---------+--------+---------
 AJ1E08       | 2018-10-22 |   11200 | toyota | corolla
(1 row)

testdb=# select * from mileage_detail_y2018m11;
 plate_number |   mdate    | mileage | brand  |  model  
--------------+------------+---------+--------+---------
 AJ1E08       | 2018-11-21 |   12200 | toyota | corolla
(1 row)

testdb=#

分割槽表貌似實現了多型，按照觸發規則自動分類資料，便於日後資料的操作。

 

小結：

這一篇介紹了對於行外儲存COAST表，分割槽表等內容。後面將學習事件觸發器、表空間、檢視等。

相關推薦

postgresql基礎學習（二）——TOAST,分割槽表

目錄 TOAST簡介 變長型別 TRUNK TOAST策略 heap-only tuple技術簡介 表繼承 分割槽表 分割槽表操作 建立父表 建立子表 建立子表索引 建立觸發器： 小結： TOAST簡介 全稱The Oversized-

Java基礎學習（二）

組成 定義類 模塊 類和對象 pac 類型轉換 eight 數字 list 軟件設計原則: 為了提高軟件的開發效率，降低軟件開發成本，一個優良的軟件系統應該具有以下特點： 1,可重用性：遵循DRY原則，減少軟件中的重復代碼。 2,可拓展性：當軟件需要升級增加新的功能，能夠在

linux菜鳥基礎學習（二 ） 上篇

com lower mar 刪除 .com [] 根目錄 col test 一.linux系統結構 首先我們學習linux的系統結構，linux系統中一切皆文件！ 由上圖，可以看到linux是一個倒樹結構linux中所有的東西都是文件這些文件都在系統頂級目錄“/” /就是

linux菜鳥基礎學習 （二） 中篇

文件中 rec 動作 mission 退出vim 第一個 51cto delet 關鍵字搜索 一.man的使用 man ->>manual ###man是手冊縮寫man man #####查看man命令的幫助man passwd

linux菜鳥基礎學習 （二） 下篇

顯示名稱 保存 數字 sudoer linux 刪除用戶 arr 組的建立 51cto 1.用戶理解 用戶就是系統使用者的身份在系統中用戶存儲為若幹竄字符+若幹個系統配置文件用戶信息涉及到的系統配置文件：/etc/passwd ###用戶信息用戶：密碼：uid：gi

CSS基礎學習（二）

什麼是選擇器？ 每一條css樣式宣告（定義）由兩部分組成，形式如下： 選擇器{ 樣式; } 在{}之前的部分就是“選擇器”，“選擇器”指明瞭{}中的“樣式”的作用物件，也就是“樣式”作用於網頁中的哪些元素。 標籤選擇器 標籤選擇器其實就是html程式碼中的標籤。

PostgreSQL基礎知識（二）

11、對錶中列的查詢。 SELECT 列名1，列名2，.... from  表名 ； 若要查詢所有 。  SELECT  * FROM 表名 ； 12、為列設定別名 。   SELECT 列名1 AS 別名1， 列名2 AS 別名2 from

postgresql基礎學習（一）——基本命令和部分邏輯結構

目錄   安裝和配置 基本操作 邏輯結構 結構簡圖 結構說明 schema操作 小結： 安裝和配置 PostGresql ubuntu安裝： apt-get install postgresql service postgresql st

python基礎學習（二）

print(abs(-5)) print(max(1,2)) print(max(1,2,3,4,5)) print(int('123')) print(int(12.34)) print(float('12.34')) print(str(1.23)) pri

原生WebGL基礎學習（二） 用WebGL繪製一個三角形

在開始之前，需要知道著色器的相關知識，可以參考：webgl介紹裡面的著色器介紹，本文的demo 用到的著色器為： <script id="vertex-shader" type="x-shader/x-vertex"> attribu

numpy 基礎學習（二）

現有資料建立陣列 numpy.asarray 此函式類似於numpy.array，除了它有較少的引數。 這個例程對於將 Python 序列轉換為ndarray非常有用。 numpy.asarray(a, dtype = None, order = None

Vue.js基礎學習（二）

Vue.js基礎學習 二 Vue 例項 1.建立一個 Vue 例項 2.資料與方法 3.例項生命週期鉤子 4.生命週期圖示 模板語法 1.插值 文字(v-once 指

PostgreSql資料庫學習（二）

以下筆記根據中科院陳世敏老師PPT整理得到 關係模型與SQL 一、表 1、表的列是一個屬性，有明確的資料型別，整形、日期等。必須是原子型別，不能夠進一步分割。列數稱為度。 2、表的行一條記錄，一條記錄是一個詳細資訊，例如一個學生的姓名、ID等等。記錄的條數稱為基。 3、表是記錄的

java_入門基礎學習（二）

今日主要記錄java開發環境搭建和程式碼結構認識 1、如何搭建Java開發環境 2、簡述classpath，path，JAVA_HOME的意義和配置方法 path： 作業系統執行環境的路徑 classpath ： JAVA執行應

canvas基礎學習（二）-線條的屬性與星空和圖形變換

以下是星空程式碼實現： <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> &

Docker基礎學習（二）-Docker的安裝和部署

一，在Windows中安裝 Docker 1,Docker的執行環境 (1)Linux容器技術 (2)作業系統級別的虛擬化 (3)依賴於Linux核心的Namespace和Cgroups 下面

深度學習數學基礎介紹（二）概率與數理統計

特征 數字特征 抽樣分布 第5章 最大 中心 3.4 獨立 知識 第1章 隨機事件與概率§1.1 隨機事件§1.2 隨機事件的概率§1.3 古典概型與幾何概型§1.4 條件概率§1.5 事件的獨立性 第2章 隨機變量的分布與數字特征§2.1 隨機變量及其分布§2.2 隨機變

java學習筆記之基礎語法（二）

讓其 實例 高效率 使用 個數 存儲 記錄 棧內存 數組 1.數組： 概念：同一種類型數據的集合，其實，數組就是一個容器 優點：可以方便的對其進行操作，編號從0開始，方便操作這些元素。 2，數組的格式 元素類型[]數組名=new 元素類型[數組元素個

C++語言學習（二）——C++對C語言基礎語法的擴展

情況下 ces qtcreator 缺少 命令 ast 過多 匯編 lse C++語言學習（二）——C++對C語言基礎語法的擴展 C++是基於C語言擴展發展而來的面向對象的程序設計語言，本文將主要討論C++語言基於C語言擴展的方面。 一、實用性增強 C語言中變量的定義必須在

深度學習基礎系列（二）| 常見的Top-1和Top-5有什麽區別？

ack [1] 隨機 排名 array gen spa imp 概率分布 　　在深度學習過程中，會經常看見各成熟網絡模型在ImageNet上的Top-1準確率和Top-5準確率的介紹，如下圖所示： 　　那Top-1 Accuracy和Top-5 Accuracy是指什