2. 程式人生 > >JDBC與MySQL臨時表空間的分析

JDBC與MySQL臨時表空間的分析

阿新 • • 發佈：2018-12-08

文章來源：愛可生雲資料庫

作者：秦沛、胡呈清

背景

應用 JDBC 連線引數採用 useCursorFetch=true，查詢結果集存放在 mysqld 臨時表空間中，導致ibtmp1 檔案大小暴增到90多G，耗盡伺服器磁碟空間。為了限制臨時表空間的大小，設定了：

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:2G

問題描述

在限制了臨時表空間後，當應用仍按以前的方式訪問時，ibtmp1檔案達到2G後，程式一直等待直到超時斷開連線。 SHOW PROCESSLIST顯示程式的連線執行緒為sleep狀態，state和info資訊為空。 這個對應用開發來說不太友好，程式等待超時之後要分析原因也缺少提示資訊。

問題分析過程

為了分析問題，我們進行了以下測試

測試環境：

  • mysql：5.7.16

  • java：1.8u162

  • jdbc 驅動：5.1.36

  • OS：Red Hat 6.4

1. 手工模擬臨時表超過最大限制的場景

模擬以下環境：

  • ibtmp1:12M:autoextend:max:30M

  • 將一張 500萬行的 sbtest 表的 k 欄位索引刪除

執行一條 group by 的查詢，產生的臨時表大小超過限制後，會直接報錯：

select sum(k) from sbtest1 group by k;  ERROR 1114 (HY000): The table '/tmp/#sql_60f1_0' is full 

2. 檢查驅動對 mysql 的設定

我們上一步看到，sql 手工執行會返回錯誤，但是 jdbc 不返回錯誤，導致連線一直 sleep，懷疑是 mysql 驅動做了特殊設定，驅動連線 mysql，通過 general_log 檢視做了哪些設定。未發現做特殊設定。

3. 測試 JDBC 連線

問題的背景中有對JDBC做特殊配置：useCursorFetch=true，不知道是否與隱藏報錯有關，接下來進行測試：

發現以下現象：

  • 加引數 useCursorFetch=true時，做同樣的查詢確實不會報錯

    這個引數是為了防止返回結果集過大而採用分段讀取的方式。即程式下發一個 sql 給 mysql 後，會等 mysql 可以讀結果的反饋，由於 mysql 在執行sql時，返回結果達到 ibtmp 上限後報錯，但沒有關閉該執行緒，該執行緒處理 sleep 狀態，程式得不到反饋，會一直等，沒有報錯。如果 kill 這個執行緒，程式則會報錯。

  • 不加引數 useCursorFetch=true時，做同樣的查詢則會報錯

結論

  1. 正常情況下，sql 執行過程中臨時表大小達到 ibtmp 上限後會報錯；

  2. 當JDBC設定 useCursorFetch=true，sql 執行過程中臨時表大小達到 ibtmp 上限後不會報錯。

解決方案

進一步瞭解到使用 useCursorFetch=true 是為了防止查詢結果集過大撐爆 jvm；

但是使用 useCursorFetch=true 又會導致普通查詢也生成臨時表，造成臨時表空間過大的問題；

臨時表空間過大的解決方案是限制 ibtmp1 的大小，然而 useCursorFetch=true 又導致JDBC不返回錯誤。

所以需要使用其它方法來達到相同的效果，且 sql 報錯後程序也要相應的報錯。除了 useCursorFetch=true 這種段讀取的方式外，還可以使用流讀取的方式。流讀取程式詳見附件部分。

  • 報錯對比

    • 段讀取方式，sql 報錯後，程式不報錯

    • 流讀取方式，sql 報錯後，程式會報錯

  • 記憶體佔用對比

這裡對比了普通讀取、段讀取、流讀取三種方式，初始記憶體佔用 28M 左右：

  • 普通讀取後，記憶體佔用 100M 多

  • 段讀取後，記憶體佔用 60M 左右

  • 流讀取後，記憶體佔用 60M 左右

補充知識點

MySQL共享臨時表空間知識點

MySQL 5.7在 temporary tablespace上做了改進，已經實現將 temporary tablespace 從 ibdata（共享表空間檔案）中分離。並且可以重啟重置大小，避免出現像以前 ibdata 過大難以釋放的問題。

其引數為：innodb_temp_data_file_path

1. 表現

MySQL啟動時 datadir 下會建立一個 ibtmp1 檔案，初始大小為 12M，預設值下會無限擴充套件：

通常來說，查詢導致的臨時表（如group by）如果超出 tmp_table_size、max_heap_table_size 大小限制則建立 innodb 磁碟臨時表（MySQL5.7預設臨時表引擎為 innodb），存放在共享臨時表空間；

如果某個操作建立了一個大小為100 M的臨時表，則臨時表空間資料檔案會擴充套件到 100M大小以滿足臨時表的需要。當刪除臨時表時，釋放的空間可以重新用於新的臨時表，但 ibtmp1 檔案保持擴充套件大小。

2. 查詢檢視

可查詢共享臨時表空間的使用情況：

SELECT FILE_NAME, TABLESPACE_NAME, ENGINE, INITIAL_SIZE, TOTAL_EXTENTS*EXTENT_SIZE AS TotalSizeBytes, DATA_FREE,MAXIMUM_SIZE FROM INFORMATION_SCHEMA.FILES WHERE TABLESPACE_NAME = 'innodb_temporary'\G

*************************** 1. row ***************************                 FILE_NAME:    /data/mysql5722/data/ibtmp1 TABLESPACE_NAME:    innodb_temporary                       ENGINE:    InnoDB              INITIAL_SIZE:    12582912             TotalSizeBytes:    31457280                DATA_FREE:    27262976         MAXIMUM_SIZE:    31457280 1 row in set (0.00 sec)

3. 回收方式

重啟 MySQL 才能回收

4. 限制大小

為防止臨時資料檔案變得過大，可以配置該 innodb_temp_data_file_path （需重啟生效）選項以指定最大檔案大小，當資料檔案達到最大大小時，查詢將返回錯誤：

innodb_temp_data_file_path=ibtmp1:12M:autoextend:max:2G

5. 臨時表空間與 tmpdir 對比

共享臨時表空間用於儲存非壓縮InnoDB臨時表(non-compressed InnoDB temporary tables)、關係物件(related objects)、回滾段(rollback segment)等資料；

tmpdir 用於存放指定臨時檔案(temporary files)和臨時表(temporary tables)，與共享臨時表空間不同的是，tmpdir儲存的是compressed InnoDB temporary tables。

可通過如下語句測試：

CREATE TEMPORARY TABLE compress_table (id int, name char(255)) ROW_FORMAT=COMPRESSED;

CREATE TEMPORARY TABLE uncompress_table (id int, name char(255)) ;

附件

SimpleExample.java

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.SQLException;

import java.sql.Statement;

import java.util.Properties;

import java.util.concurrent.CountDownLatch;

import java.util.concurrent.atomic.AtomicLong;

public class SimpleExample {

public static void main(String[] args) throws Exception {

Class.forName("com.mysql.jdbc.Driver");

Properties props = new Properties();

props.setProperty("user", "root");

props.setProperty("password", "root");

SimpleExample engine = new SimpleExample();

//      engine.execute(props,"jdbc:mysql://10.186.24.31:3336/hucq?useSSL=false");

engine.execute(props,"jdbc:mysql://10.186.24.31:3336/hucq?useSSL=false&useCursorFetch=true");

}

final AtomicLong tmAl = new AtomicLong();

final String tableName="test";

public void execute(Properties props,String url) {

CountDownLatch cdl = new CountDownLatch(1);

long start = System.currentTimeMillis();

for (int i = 0; i < 1; i++) {

TestThread insertThread = new TestThread(props,cdl, url);

Thread t = new Thread(insertThread);

t.start();

System.out.println("Test start");

}

try {

cdl.await();

long end = System.currentTimeMillis();

System.out.println("Test end,total cost:" + (end-start) + "ms");

} catch (Exception e) {

}

}

class TestThread implements Runnable {

Properties props;

private CountDownLatch countDownLatch;

String url;

public TestThread(Properties props,CountDownLatch cdl,String url) {

this.props = props;

this.countDownLatch = cdl;

this.url = url;

}

public void run() {

Connection connection = null;

PreparedStatement ps = null;

Statement st = null;

long start = System.currentTimeMillis();

try {

connection = DriverManager.getConnection(url,props);

connection.setAutoCommit(false);

st = connection.createStatement();

//st.setFetchSize(500);

st.setFetchSize(Integer.MIN_VALUE);  //僅修改此處即可

ResultSet rstmp;

st.executeQuery("select sum(k) from sbtest1 group by k"); 

rstmp = st.getResultSet();

while(rstmp.next()){

}

} catch (Exception e) {

System.out.println(System.currentTimeMillis() - start);

System.out.println(new java.util.Date().toString());

e.printStackTrace();

} finally {

if (ps != null)

try {

ps.close();

} catch (SQLException e1) {

e1.printStackTrace();

}

if (connection != null)

try {

connection.close();

} catch (SQLException e1) {

e1.printStackTrace();

}

this.countDownLatch.countDown();

}

}

}

}

相關推薦

JDBC與MySQL臨時表空間的分析

文章來源：愛可生雲資料庫 作者：秦沛、胡呈清 背景 應用 JDBC 連線引數採用 useCursorFetch=true，查詢結果集存放在 mysqld 臨時表空間中，導致ibtmp1 檔案大小暴增到90多G，耗盡伺服器磁碟空間。為了限制臨時表空間的大小，設定了

Oracle臨時表空間使用分析

臨時表空間查詢臨時表空間的使用情況： select * from (select a.tablespace_name,sum(maxbytes/1024/1024/1024) total_G,sum(a.bytes/1024/1024) allocated_mbfrom dba_temp_files awhe

MySQL 5.7臨時表空間怎麼玩才能不掉坑裡

導讀 MySQL 5.7起支援獨立臨時表空間，但個別時候也可能會踩坑的。 MySQL 5.7起，開始採用獨立的臨時表空間（和獨立的undo表空間不是一回事喲），命名ibtmp1檔案，初始化12M，且預設無上限。 選項 innodb_temp_data_file_

MySQL 5.7怎麼爬出臨時表空間的坑

導讀 如何確認臨時表是由哪個使用者連線建立的？ 上次我們介紹了MySQL 5.7臨時表空間怎麼玩才能不掉坑裡，這次我們來介紹如何確認是哪個使用者連線建立的臨時表，以及如何釋放臨時表。 首先，我們檢視當前的連線ID： [email protected]>SELECT CONNECTIO

ORACLE臨時表空間總結

datafile 資源 indicate height 完成 round clip blocks rip 臨時表空間概念 臨時表空間用來管理數據庫排序操作以及用於存儲臨時表、中間排序結果等臨時對象,當ORACLE裏需要用到SORT的時候，並且當PGA中sort_ar

臨時表空間操作總結

con database 成功 1.5 size ane stripe ont table 一、 臨時表空間理論 在9i之前，如果一個數據庫用戶沒有被指定默認臨時表空間，那麽oracle就會使用system表空間作為該用戶的臨時表空間，這是很危險的。在9i裏面，databa

MySQL-----臨時表

內容 rom core sel id字段 nbsp mysql 取數據 例如 臨時表： 　　**這是一個表和數據** 　　select * from score where num > 60; 　　**把這個表的數據變成一個臨時的表，作為一個臨時的表，那麽就可以再對這

oracle 臨時表空間 占用磁盤空間

oracle 臨時表空間新創建一個臨時表空間 tmpacreate temporary tablespace TEMPA TEMPFILE ‘/oracle/tmp/tempa01.dbf ‘ SIZE 8192M REUSE AUTOEXTEND ON NEXT

oracle 11g解決臨時表空間過大的問題

temp tablespace有的數據庫在使用過程中由於某些操作會導至臨時表空間過大，由於臨時表空間的工作機制，在作業完成後該部分臨時表空間也不會釋放。通過重建臨時表空間的方法可以解決這個問題，但操作還是有點繁瑣。在操作中發現，通過resize tempfile可以釋放臨時表空間，如果有多個tempfile,

oracle創建用戶、表空間、臨時表空間、分配權限步驟詳解

分配權限 use 表數據 依次 log auto create 過程 limit 首先登陸管理員賬號，或者有DBA權限的用戶，接下來依次： --查詢所有用戶select * from dba_users;--創建新用戶create user gpmgt identified

<轉>MySQL臨時表的簡單用法

簡單 eap temporary 臨時表 般的 需要 分析 val weight 當工作在非常大的表上時，你可能偶爾需要運行很多查詢獲得一個大量數據的小的子集，不是對整個表運行這些查詢，而是讓MySQL每次找出所需的少數記錄，將記錄選擇到一個臨時表可能更快些，然後在這些表運

臨時表空間過大解決方法

臨時表空間臨時表空間過大解決方法解決臨時表空間過大有兩種方法，方法一增加臨時表空間的大小，方法二重建臨時表空間，解決臨時表空間過大的問題。方案一：增加臨時表空間的大小--1.臨時表空間的使用情況SELECT D.tablespace_name, SPACE "SUM_SPACE(M)&

ORA-1652:臨時表空間異常優化處理

ora-1652 temp is-not-null 優化 1、查看 alert_PROD.log 【錯誤信息】：ORA-1652: unable to extend temp segment by 128 in tablespace TEMP1 查看臨時表空間基礎信息及其使用情況：基礎信

oracle臨時表空間使用率達到多少記錄使用臨時表空間語句

臨時表空間with pct as (SELECT TABLE

oracle 臨時表空間使用情況

HA 空間占用 limited 空間使用 ase hash join sel ted 不足 今天用戶那邊執行一個很簡單的SQL，輸出結果集也才幾萬條，涉及三表，最大也才100萬數據量，結果卻報了表空間不足的情況，理論來說，這樣的SQL怎麽也不應該吃這麽多臨時表空間。 查詢臨

mysql之 表空間傳輸

名稱 測試的 incr backup root row chown ODB data 說明：MySQL(5.6.6及以上)，innodb_file_per_table開啟。 1.1. 操作步驟： 0. 目標服務器創建相同表結構1. 目的服務器： ALTER TABLE t

oracle建立使用者，表空間，臨時表空間，分配許可權步驟詳解

首先登陸管理員賬號，或者有DBA許可權的使用者，接下來依次： --查詢所有使用者 select * from dba_users; --建立新使用者 create user gpmgt identified by GPMGT; --檢視所有使用者所在表空間 select usernam

解決Oracle臨時表空間佔滿的問題

正常來說，在完成Select語句、create index等一些使用TEMP表空間的排序操作後，Oracle是會自動釋放掉臨時段的。但有些有侯我們則會遇到臨時段沒有被釋放，TEMP表空間幾乎滿的狀況，甚至是我們重啟了資料庫仍沒有解決問題。這個問題在論壇中也常被網友問到，下面我總結一下，給出幾

oracle建立表空間、使用者、許可權 oracle 建立臨時表空間/表空間，使用者及授權

原連結：https://www.cnblogs.com/wxm-bk/p/6510654.html oracle 建立臨時表空間/表空間，使用者及授權   1：建立臨時表空間 create temporary tablespace user_temp tempfile

【DB2】SQL1585N 由於沒有具有相容頁面大小的可用系統臨時表空間，因此無法建立臨時表。SQLSTATE=54048

自己寫了一段SQL，SQL中包含ORDER BY 字句，但是在執行的時候報錯如下: 經過查詢發現是由於臨時表空間的PAGESIZE不夠大，可考慮建16k或者32k PAGESIZE的表空間 示例如下： 1. 建立pagesize 16k的bufferpool，自己去調大小 db2 create b