2. 程式人生 > >Hibernate批量處理海量資料的方法(轉)

Hibernate批量處理海量資料的方法(轉)

阿新 • • 發佈：2018-12-11

本文例項講述了Hibernate批量處理海量資料的方法。分享給大家供大家參考，具體如下：

Hibernate批量處理海量其實從效能上考慮，它是很不可取的，浪費了很大的記憶體。從它的機制上講，Hibernate它是先把符合條件的資料查出來，放到記憶體當中，然後再進行操作。實際使用下來效能非常不理想，在筆者的實際使用中採用下面的第三種優化方案的資料是：100000條資料插入資料庫， 需要約30分鐘，呵呵，暈倒。(本人10分鐘插入1000000條資料(欄位比較小))

總結下來有三種來處理以解決效能問題：

1：繞過Hibernate API ，直接通過 JDBC API 來做，這個方法效能上是比較好的。也是最快的。

2：運用儲存過程。

3：還是用Hibernate API 來進行常規的批量處理，可以也有變，變就變在，我們可以在查找出一定的量的時候，及時的將這些資料做完操作就 刪掉，session.flush();session.evict(XX物件集); 這樣也可以挽救一點效能損失。這個"一定的量"要就要根據實際情況做定量參考了。一般為30-60左右，但效果仍然不理想。

1：繞過Hibernate API ，直接通過 JDBC API 來做，這個方法效能上是比較好的，也是最快的。(例項為 更新操作)

?

1

2

3

4

5

Transaction tx=session.beginTransaction();

//注意用的是hibernate事務處理邊界

Connection conn=session.connection();

PreparedStatement stmt=conn.preparedStatement("update CUSTOMER as C set C.sarlary=c.sarlary+1 where c.sarlary>1000");

stmt.excuteUpdate();

tx.commit(); //注意用的是hibernate事務處理邊界

這小程式中，採用的是直接呼叫JDBC 的API 來訪問資料庫，效率很高。避免了Hibernate 先查詢出來載入到記憶體，再進行操作引發的效能問題 。 2：運用儲存過程。但這種方式考慮到易植和程式部署的方便性，不建議使用。(例項為 更新操作)

如果底層資料庫(如Oracle)支援儲存過程，也可以通過儲存過程來執行批量更新。儲存過程直接在資料庫中執行，速度更加快。在Oracle資料庫中可以定義一個名為batchUpdateCustomer()的儲存過程，程式碼如下：

複製程式碼程式碼如下:

create or replace procedure batchUpdateCustomer(p_age in number) as begin update CUSTOMERS set AGE=AGE+1 where AGE>p_age;end;

以上儲存過程有一個引數p_age，代表客戶的年齡，應用程式可按照以下方式呼叫儲存過程：

?

1

2

3

4

5

6

7

tx = session.beginTransaction();

Connection con=session.connection();

String procedure = "{call batchUpdateCustomer(？) }";

CallableStatement cstmt = con.prepareCall(procedure);

cstmt.setInt(1，0); //把年齡引數設為0

cstmt.executeUpdate();

tx.commit();

從上面程式看出，應用程式也必須繞過Hibernate API，直接通過JDBC API來呼叫儲存過程。

3：還是用Hibernate API 來進行常規的批量處理，可以也有變，變就變在，我們可以在查找出一定的量的時候，及時的將這些資料做完操作就刪掉，session.flush();session.evict(XX物件集); 這樣也可以挽救一點效能損失。這個"一定的量"要就要根據實際情況做定量參考了…… (例項為 儲存操作)

業務邏輯為：我們要想資料庫插入10 0000 條資料

?

1

2

3

4

5

6

7

8

9

10

11

12

tx=session.beginTransaction();

for(int i=0;i<100000;i++)

{

Customer custom=new Customer();

custom.setName("user"+i);

session.save(custom);

if(i%50==0) // 以每50個數據作為一個處理單元，也就是我上面說的"一定的量"，這個量是要酌情考慮的

{

session.flush();

session.clear();

}

}

這樣可以把系統維持在一個穩定的範圍……

在專案的開發過程之中，由於專案需求，我們常常需要把大批量的資料插入到資料庫。數量級有萬級、十萬級、百萬級、甚至千萬級別的。如此數量級別的資料用Hibernate做插入操作，就可能會發生異常，常見的異常是OutOfMemoryError(記憶體溢位異常)。

首先，我們簡單來回顧一下Hibernate插入操作的機制。Hibernate要對它內部快取進行維護，當我們執行插入操作時，就會把要操作的物件全部放到自身的內部快取來進行管理。

談到Hibernate的快取，Hibernate有內部快取與二級快取之說。由於Hibernate對這兩種快取有著不同的管理機制，對於二級快取，我們可以對它的大小進行相關配置，而對於內部快取，Hibernate就採取了"放任自流"的態度了，對它的容量並沒有限制。現在癥結找到了，我們做海量資料插入的時候，生成這麼多的物件就會被納入內部快取(內部快取是在記憶體中做快取的)，這樣你的系統記憶體就會一點一點的被蠶食，如果最後系統被擠"炸"了，也就在情理之中了。

我們想想如何較好的處理這個問題呢？有的開發條件又必須使用Hibernate來處理，當然有的專案比較靈活，可以去尋求其他的方法。

筆者在這裡推薦兩種方法：

(1)：優化Hibernate，程式上採用分段插入及時清除快取的方法。 (2)：繞過Hibernate API ，直接通過 JDBC API 來做批量插入，這個方法效能上是最 好的，也是最快的。

對於上述中的方法1，其基本是思路為：優化Hibernate，在配置檔案中設定hibernate.jdbc.batch_size引數，來指定每次提交SQL的數量;程式上採用分段插入及時清除快取的方法(Session實現了非同步write-behind，它允許Hibernate顯式地寫操作的批處理)，也就是每插入一定量的資料後及時的把它們從內部快取中清除掉，釋放佔用的記憶體。

設定hibernate.jdbc.batch_size引數，可參考如下配置。

?

1

2

3

<hibernate-configuration> <session-factory>……

<property name=" hibernate.jdbc.batch_size">50</property>……

<session-factory> <hibernate-configuration>

配置hibernate.jdbc.batch_size引數的原因就是儘量少讀資料庫，hibernate.jdbc.batch_size引數值越大，讀資料庫的次數越少，速度越快。從上面的配置可以看出，Hibernate是等到程式積累到了50個SQL之後再批量提交。

筆者也在想，hibernate.jdbc.batch_size引數值也可能不是設定得越大越好，從效能角度上講還有待商榷。這要考慮實際情況，酌情設定，一般情形設定30、50就可以滿足需求了。

程式實現方面，筆者以插入10000條資料為例子，如

?

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Session session=HibernateUtil.currentSession();

Transatcion tx=session.beginTransaction();

for(int i=0;i<10000;i++)

{

Student st=new Student();

st.setName("feifei");

session.save(st);

if(i%50==0) //以每50個數據作為一個處理單元

{

session.flush(); //保持與資料庫資料的同步

session.clear(); //清除內部快取的全部資料，及時釋放出佔用的記憶體

}

}

tx.commit();

……

在一定的資料規模下，這種做法可以把系統記憶體資源維持在一個相對穩定的範圍。

注意：前面提到二級快取，筆者在這裡有必要再提一下。如果啟用了二級快取，從機制上講Hibernate為了維護二級快取，我們在做插入、更新、刪除操作時，Hibernate都會往二級快取充入相應的資料。效能上就會有很大損失，所以筆者建議在批處理情況下禁用二級快取。

對於方法2，採用傳統的JDBC的批處理，使用JDBC API來處理。

些方法請參照java 批處理自執行SQL

看看上面的程式碼，是不是總覺得有不妥的地方？對，沒發現麼！這還是JDBC的傳統程式設計，沒有一點Hibernate味道。

可以對以上的程式碼修改成下面這樣：

?

1

2

3

4

5

6

7

8

9

10

11

12

Transaction tx=session.beginTransaction(); //使用Hibernate事務處理

Connection conn=session.connection();

PrepareStatement stmt=conn.prepareStatement("insert into T_STUDENT(name) values(？)");

for(int j=0;j++;j<200){

for(int i=0;i++;j<50)

{

stmt.setString(1，"feifei");

}

}

stmt.executeUpdate();

tx.commit(); //使用 Hibernate事務處理邊界

……

這樣改動就很有Hibernate的味道了。筆者經過測試，採用JDBC API來做批量處理，效能上比使用Hibernate API要高將近10倍，效能上JDBC 佔優這是無疑的。

批量更新與刪除Hibernate2中，對於批量更新操作，Hibernate是將符合要求的資料查出來，然後再做更新操作。批量刪除也是這樣，先把符合條件的資料查出來，然後再做刪除操作。

這樣有兩個大缺點：

(1)：佔用大量的記憶體。 (2)：處理海量資料的時候，執行update/delete語句就是海量了，而且一條update/delete語句只能操作一個物件，這樣頻繁的操作資料庫，效能低下應該是可想而知的了。

Hibernate3 釋出後，對批量更新/刪除操作引入了bulk update/delete，其原理就是通過一條HQL語句完成批量更新/刪除操作，很類似JDBC的批量更新/刪除操作。在效能上，比Hibernate2的批量更新/刪除有很大的提升。

?

1

2

3

4

5

6

Transaction tx=session.beginSession();

String HQL="delete STUDENT";

Query query=session.createQuery(HQL);

int size=query.executeUpdate();

tx.commit();

……

控制檯輸出了也就一條刪除語句Hibernate：delete from T_STUDENT，語句執行少了，效能上也與使用JDBC相差無幾，是一個提升效能很好的方法。當然為了有更好的效能，筆者建議批量更新與刪除操作還是使用JDBC，方法以及基本的知識點與上面的批量插入方法2基本相同，這裡就不在冗述。

筆者這裡再提供一個方法，就是從資料庫端來考慮提升效能，在Hibernate程式端呼叫儲存過程。儲存過程在資料庫端執行，速度更快。以批量更新為例，給出參考程式碼。

首先在資料庫端建立名為batchUpdateStudent儲存過程：

?

1

2

3

4

create or replace produre batchUpdateStudent(a in number) as

begin

update STUDENT set AGE=AGE+1 where AGE>a;

end;

呼叫程式碼如下：

?

1

2

3

4

5

6

Transaction tx=session.beginSession();

Connection conn=session.connection();

String pd="……{call batchUpdateStudent(？)}";

CallableStatement cstmt=conn.PrepareCall(pd);

cstmt.setInt(1，20); //把年齡這個引數設為20

tx.commit();

觀察上面的程式碼，也是繞過Hibernate API，使用 JDBC API來呼叫儲存過程，使用的還是Hibernate的事務邊界。儲存過程無疑是提高批量處理效能的一個好方法，直接執行與資料庫端，某種程度上講把批處理的壓力轉接給了資料庫。

編後語

本文探討了Hibernate的批處理操作，出發點都是在提高效能上考慮了，也只是提供了提升效能的一個小方面。

不管採取什麼樣的方法，來提升效能都要根據實際的情況來考慮，為使用者提供一個滿足需求的而且高效穩定的系統才是重中之中。

希望本文所述對大家Hibernate程式設計有所幫助。

相關推薦

Hibernate批量處理海量資料的方法(轉)

本文例項講述了Hibernate批量處理海量資料的方法。分享給大家供大家參考，具體如下： Hibernate批量處理海量其實從效能上考慮，它是很不可取的，浪費了很大的記憶體。從它的機制上講，Hibernate它是先把符合條件的資料查出來，放到記憶體當中，然後再進行操作。實際

處理海量資料的方法與思路

處理海量資料是大資料工程師必備技能，通過對PB級別的資料進行挖掘與分析發掘出有價值的資訊，為企業或政府做出正確決策提供依據，是十分必要的一項工作，以下是常用的海量資料處理方法！ 1. Bloom filter Bloom filter是一種二進位制向量資料結構，具有很好的空間效率和時間效率，

MySQL 處理海量資料時的一些優化查詢速度方法

在參與實際專案中，當 MySQL 表的資料量達到百萬級時，普通的 SQL 查詢效率呈直線下降，而且如果 where 中的查詢條件較多時，其查詢速度無法容忍。想想可知，假如我們查詢淘寶的一個訂單詳情，如果查詢時間高達幾十秒，這麼高的查詢延時，任何使用者都會抓狂

mysql處理海量資料時的一些優化查詢速度方法

原文：http://www.itjhwd.com/4588798/ 最近一段時間由於工作需要，開始關注針對Mysql資料庫的select查詢語句的相關優化方法。 由於在參與的實際專案中發現當mysql表的資料量達到百萬級時，普通SQL查詢效率呈直線下降，而

Redis構建處理海量資料的大型購物網站

本系列教程內容提要 Java工程師之Redis實戰系列教程教程是一個學習教程,是關於Java工程師的Redis知識的實戰系列教程,本系列教程均以解決特定問題為目標,使用Redis快速解決在實際生產中的相關問題,為了更方便的與大家一起探討與學習,每個章節均提供儘可能詳細的示例原始碼及註釋,所有示例原始碼均可在

堆處理海量資料----求前k個最小的數--時間複雜度（n * log k）

通過閱讀July的書籍，發現裡面求前k個最小數有很多方法。但在面對處理海量資料處理的時候，不能 把全部資料都放在電腦記憶體中。這時用堆來處理，並把資料放在外存中，通過讀取檔案的方式來讀取。感覺該方法十分巧妙,時間複雜度（n*log k）。程式碼如下： #include&l

個人經驗總結：處理海量資料的經驗和技巧

在實際的工作環境下，許多人會遇到海量資料這個複雜而艱鉅的問題，它的主要難點有以下幾個方面： 一、資料量過大，資料中什麼情況都可能存在。 如果說有10條資料，那麼大不了每條去逐一檢查，人為處理，如果有上百條資料，也可以考慮，如果資料上到千萬級別，甚至過億，那不是手工能解決的了

【原創】Python處理海量資料的實戰研究

感謝July ^_^ 他用的是Java的Hash Map等方法做了處理，講解的非常深刻入骨 我也一時興起，想拿Python試試刀，看看Python對於海量資料的處理能力如何。無奈在百度和Google輸入“Python 海量資料”都無果。可能是國內使用python的不多，

MySQL 處理海量資料時的SQL語句調優

在參與實際專案中，當 MySQL 表的資料量達到百萬級時，普通的 SQL 查詢效率呈直線下降，而且如果 where 中的查詢條件較多時，其查詢速度無法容忍。想想可知，假如我們查詢淘寶的一個訂單詳情，如果查詢時間高達幾十秒，這麼高的查詢延時，任何使用者都會抓狂。因此如何提高

秒級處理海量資料，浙江移動大資料平臺是怎麼做到的

專案背景 近年來，隨著雲端計算、移動網際網路、物聯網等技術的發展，以及智慧手機、平板電腦等終端裝置的不斷湧現，各種型別的電商、社交媒體等應用快速發展，產生了海量的資料，並且資料量增長的速度越來越快，龐大的資料資源引起了各個行業越來越多的關注，並促進了相關技術的發展與創新

MySQL批量插入大量資料方法

在MySQL資料庫中，如果要插入上百萬級的記錄，用普通的insert into來操作非常不現實，速度慢人力成本高，推薦使用Load Data或儲存過程來匯入資料，我總結了一些方法分享如下，主要基於MyISAM和InnoDB引擎。1 InnoDB儲存引擎首先建立資料表（可選），

（轉）十道海量資料處理面試題與十個方法大總結

      首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大檔案中。注意到IP是32位的，最多有個232個IP。同樣可以採用對映的方法，比如模1000，把整個大檔案對映為1000個小檔案，再找出每個小文中出現頻率最大的IP（可以採用hash_m

Mysql處理海量數據時的一些優化查詢速度方法【轉】

有意義 最好 普通 drop git .com war 解決方案 臨時 最近一段時間由於工作需要，開始關註針對Mysql數據庫的select查詢語句的相關優化方法。由於在參與的實際項目中發現當mysql表的數據量達到百萬級時，普通SQL查詢效率呈直線下降，而且如果where

十道海量資料處理面試題與十個方法大總結：

轉載之處：http://blog.csdn.net/liuqiyao_01/article/details/26567237 筆試 = （資料結構+演算法） 50%+ （計算機網路 + 作業系統）30% +邏輯智力題10%  + 資料庫5% + 歪門邪道題5%，而面

海量資料處理方法及應用

一、雜湊切割top K問題 1. 給一個超過100G大小的log file, log中存著IP地址, 設計演算法找到出現次數最多的IP地址？ （1）首先使用雜湊函式HashFunc(ip)將每一個IP地址轉化為整型，再通過HashFunc(i

海量資料處理：十道面試題與十個海量資料處理方法總結（大資料演算法面試題）

第一部分、十道海量資料處理面試題 1、海量日誌資料，提取出某日訪問百度次數最多的那個IP。       首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大檔案中。注意到IP是32位的，最多有個2^32個IP。同樣可以採用對映的方法

海量資料處理：十道面試題與十個海量資料處理方法總結

第一部分、十道海量資料處理面試題 1、海量日誌資料，提取出某日訪問百度次數最多的那個IP。 首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大檔案中。注意到IP是32位的，最多有個2^32個IP。同樣可以採用對映的方法，比如模1000，把整個大檔

面試技巧——十道海量資料處理面試題與十個方法大總結

第一部分、十道海量資料處理面試題 1、海量日誌資料，提取出某日訪問百度次數最多的那個IP。       首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大檔案中。注意到IP是32位的，最多有個2^32個IP。同樣可以採用對映的方法，比如模1000，把整個大

十道海量資料處理面試題與十個方法大總結

                                海量資料處理：十道面試題與十個海量資料處理方法總結第一部分、十道海量資料處理面試題1、海量日誌資料，提取出某日訪問百度次數最多的那個IP。      首先是這一天，並且是訪問百度的日誌中的IP取出來，逐個寫入到一個大檔案中。注意到IP是32位的，

大資料十道經典海量資料處理面試題與十個方法大總結

第一部分、十道海量資料處理面試題 1、海量日誌資料，提取出某日訪問百度次數最多的那個IP。 此題，在我之前的一篇文章演算法裡頭有所提到，當時給出的方案是：IP的數目還是有限的，最多2^32個，所以可以考慮使用hash將ip直接存入記憶體，然後進行統計。 再詳細介紹下此方案：首先