對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題，

但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。

   為了更好的理解併發和同步，我們需要先明白兩個重要的概念:同步和非同步

   1、同步和非同步的區別和聯絡

         所謂同步，可以理解為在執行完一個函式或方法之後，一直等待系統返回值或訊息，這時程式是出於阻塞的，只有接收到

        返回的值或訊息後才往下執行其它的命令。

        非同步，執行完函式或方法後，不必阻塞性地等待返回值或訊息，只需要向系統委託一個非同步過程，那麼當系統接收到返回

        值或訊息時，系統會自動觸發委託的非同步過程，從而完成一個完整的流程。

       

  同步在一定程度上可以看做是單執行緒，這個執行緒請求一個方法後就待這個方法給他回覆，否則他不往下執行(死心眼)。

        非同步在一定程度上可以看做是多執行緒的(廢話，一個執行緒怎麼叫非同步)，請求一個方法後，就不管了，繼續執行其他的方法。

        

        同步就是一件事，一件事情一件事的做。
        非同步就是，做一件事情，不引響做其他事情。

        例如：吃飯和說話，只能一件事一件事的來，因為只有一張嘴。
                但吃飯和聽音樂是非同步的，因為，聽音樂並不引響我們吃飯。

 

        對於Java程式設計師而言，我們會經常聽到同步關鍵字synchronized，假如這個同步的監視物件是類的話，那麼如果當一個物件

        訪問類裡面的同步方法的話，那麼其它的物件如果想要繼續訪問類裡面的這個同步方法的話，就會進入阻塞，只有等前一個物件

        執行完該同步方法後當前物件才能夠繼續執行該方法。這就是同步。相反，如果方法前沒有同步關鍵字修飾的話，那麼不同的物件

        可以在同一時間訪問同一個方法，這就是非同步。

      

        在補充一下(髒資料和不可重複讀的相關概念):

       髒資料

　　 髒讀就是指當一個事務正在訪問資料，並且對資料進行了修改，而這種修改還沒有提交到資料庫中，這時，另外一個事務也訪問這個資料，然後使用了這 個數據。因為這個資料是還沒有提交的資料，那麼另外一個事務讀到的這個資料是髒資料(Dirty Data)，依據髒資料所做的操作可能是不正確的。

     不可重複讀

　　 不可重複讀是指在一個事務內，多次讀同一資料。在這個事務還沒有結束時，另外一個事務也訪問該同一資料。那麼，在第一個事務中的兩次讀資料之間，由於第二個事務的修改，那麼第一個事務兩次讀到的資料可能是不一樣的。這樣就發生了在一個事務內兩次讀到的資料是不一樣的，因此稱為是不可重複讀

 

         

 

   2、如何處理併發和同步

        今天講的如何處理併發和同同步問題主要是通過鎖機制。

       我們需要明白，鎖機制有兩個層面。

       一種是程式碼層次上的，如java中的同步鎖，典型的就是同步關鍵字synchronized，這裡我不在做過多的講解，

       感興趣的可以參考:http://www.cnblogs.com/xiohao/p/4151408.html

       另外一種是資料庫層次上的，比較典型的就是悲觀鎖和樂觀鎖。這裡我們重點講解的就是悲觀鎖（傳統的物理鎖）和樂觀鎖。

       悲觀鎖(Pessimistic Locking):       

       悲觀鎖，正如其名，它指的是對資料被外界（包括本系統當前的其他事務，以及來自 外部系統的事務處理）修改持保守態度，因此，

       在整個資料處理過程中，將資料處於鎖定狀態。

       悲觀鎖的實現，往往依靠資料庫提供的鎖機制（也只有資料庫層提供的鎖機制才能 真正保證資料訪問的排他性，否則，即使在本系統

       中實現了加鎖機制，也無法保證外部系 統不會修改資料）。 

       一個典型的倚賴資料庫的悲觀鎖呼叫： 

       select * from account where name=”Erica” for update

       這條 sql 語句鎖定了 account 表中所有符合檢索條件（ name=”Erica” ）的記錄。

       本次事務提交之前（事務提交時會釋放事務過程中的鎖），外界無法修改這些記錄。 
       Hibernate 的悲觀鎖，也是基於資料庫的鎖機制實現。 
       下面的程式碼實現了對查詢記錄的加鎖：

       String hqlStr ="from TUser as user where user.name='Erica'";

        Query query = session.createQuery(hqlStr);

        query.setLockMode("user",LockMode.UPGRADE); // 加鎖

       List userList = query.list();// 執行查詢，獲取資料

       query.setLockMode 對查詢語句中，特定別名所對應的記錄進行加鎖（我們為 TUser 類指定了一個別名 “user” ），這裡也就是對

      返回的所有 user 記錄進行加鎖。 

      觀察執行期 Hibernate 生成的 SQL 語句： 
      select tuser0_.id as id, tuser0_.name as name, tuser0_.group_id
      as group_id, tuser0_.user_type as user_type, tuser0_.sex as sex
      from t_user tuser0_ where (tuser0_.name='Erica' ) for update
     這裡 Hibernate 通過使用資料庫的 for update 子句實現了悲觀鎖機制。 
      Hibernate 的加鎖模式有： 
      Ø LockMode.NONE ： 無鎖機制。 
      Ø LockMode.WRITE ： Hibernate 在 Insert 和 Update 記錄的時候會自動獲取
      Ø LockMode.READ ： Hibernate 在讀取記錄的時候會自動獲取。 
      以上這三種鎖機制一般由 Hibernate 內部使用，如 Hibernate 為了保證 Update
      過程中物件不會被外界修改，會在 save 方法實現中自動為目標物件加上 WRITE 鎖。 
      Ø LockMode.UPGRADE ：利用資料庫的 for update 子句加鎖。 
      Ø LockMode. UPGRADE_NOWAIT ： Oracle 的特定實現，利用 Oracle 的 for
      update nowait 子句實現加鎖。 
      上面這兩種鎖機制是我們在應用層較為常用的，加鎖一般通過以下方法實現： 
      Criteria.setLockMode
      Query.setLockMode
      Session.lock
      注意，只有在查詢開始之前（也就是 Hiberate 生成 SQL 之前）設定加鎖，才會 
      真正通過資料庫的鎖機制進行加鎖處理，否則，資料已經通過不包含 for update
      子句的 Select SQL 載入進來，所謂資料庫加鎖也就無從談起。

      為了更好的理解select... for update的鎖表的過程，本人將要以mysql為例，進行相應的講解

      1、要測試鎖定的狀況，可以利用MySQL的Command Mode ，開二個視窗來做測試。

          表的基本結構如下:

          

 

           表中內容如下:

           

 

          開啟兩個測試視窗，在其中一個視窗執行select * from ta for update0

          然後在另外一個視窗執行update操作如下圖:

          

          等到一個視窗commit後的圖片如下:

          

           到這裡，悲觀鎖機制你應該瞭解一些了吧~

       

           需要注意的是for update要放到mysql的事務中，即begin和commit中，否者不起作用。

           至於是鎖住整個表還是鎖住選中的行，請參考:

           http://www.cnblogs.com/xiohao/p/4385768.html

            至於hibernate中的悲觀鎖使用起來比較簡單，這裡就不寫demo了~感興趣的自己查一下就ok了~

           

          樂觀鎖(Optimistic Locking):        
         相對悲觀鎖而言，樂觀鎖機制採取了更加寬鬆的加鎖機制。悲觀鎖大多數情況下依 靠資料庫的鎖機制實現，以保證操作最大程度的獨佔性。但隨之

而來的就是資料庫 效能的大量開銷，特別是對長事務而言，這樣的開銷往往無法承受。 如一個金融系統，當某個操作員讀取使用者的資料，並在讀出的使用者數

據的基礎上進 行修改時（如更改使用者帳戶餘額），如果採用悲觀鎖機制，也就意味著整個操作過 程中（從操作員讀出資料、開始修改直至提交修改結果的全

過程，甚至還包括操作 員中途去煮咖啡的時間），資料庫記錄始終處於加鎖狀態，可以想見，如果面對幾 百上千個併發，這樣的情況將導致怎樣的後果。 樂

觀鎖機制在一定程度上解決了這個問題。

         樂觀鎖，大多是基於資料版本   Version ）記錄機制實現。何謂資料版本？即為資料增加一個版本標識，在基於數據庫表的版本解決方案中，一般是通

過為資料庫表增加一個 “version” 欄位來 實現。 讀取出資料時，將此版本號一同讀出，之後更新時，對此版本號加一。此時，將提 交資料的版本資料與資料

庫表對應記錄的當前版本資訊進行比對，如果提交的資料 版本號大於資料庫表當前版本號，則予以更新，否則認為是過期資料。 對於上面修改使用者帳戶資訊

的例子而言，假設資料庫中帳戶資訊表中有一個 version 欄位，當前值為 1 ；而當前帳戶餘額欄位（ balance ）為 $100 。 操作員 A 此時將其讀出

（ version=1 ），並從其帳戶餘額中扣除 $50（ $100-$50 ）。 2 在操作員 A 操作的過程中，操作員 B 也讀入此使用者資訊（ version=1 ），並 從其帳

戶餘額中扣除 $20 （ $100-$20 ）。 3 操作員 A 完成了修改工作，將資料版本號加一（ version=2 ），連同帳戶扣 除後餘額（ balance=$50 ），提交

至資料庫更新，此時由於提交資料版本大 於資料庫記錄當前版本，資料被更新，資料庫記錄 version 更新為 2 。 4 操作員 B 完成了操作，也將版本號加一

（ version=2 ）試圖向資料庫提交數 據（ balance=$80 ），但此時比對資料庫記錄版本時發現，操作員 B 提交的 資料版本號為 2 ，資料庫記錄當前版

本也為 2 ，不滿足 “ 提交版本必須大於記 錄當前版本才能執行更新 “ 的樂觀鎖策略，因此，操作員 B 的提交被駁回。 這樣，就避免了操作員 B 用基於

version=1 的舊資料修改的結果覆蓋操作 員 A 的操作結果的可能。 從上面的例子可以看出，樂觀鎖機制避免了長事務中的資料庫加鎖開銷（操作員 A

和操作員 B 操作過程中，都沒有對資料庫資料加鎖），大大提升了大併發量下的系 統整體效能表現。 需要注意的是，樂觀鎖機制往往基於系統中的資料儲存

邏輯，因此也具備一定的局 限性，如在上例中，由於樂觀鎖機制是在我們的系統中實現，來自外部系統的使用者 餘額更新操作不受我們系統的控制，因此可能

會造成髒資料被更新到資料庫中。在 系統設計階段，我們應該充分考慮到這些情況出現的可能性，並進行相應調整（如 將樂觀鎖策略在資料庫儲存過程中實

現，對外只開放基於此儲存過程的資料更新途 徑，而不是將資料庫表直接對外公開）。 Hibernate 在其資料訪問引擎中內建了樂觀鎖實現。如果不用考慮外

部系統對數 據庫的更新操作，利用 Hibernate 提供的透明化樂觀鎖實現，將大大提升我們的 生產力。

Hibernate 中可以通過 class 描述符的 optimistic-lock 屬性結合 version描述符指定。

現在，我們為之前示例中的 User 加上樂觀鎖機制。

 

1 ． 首先為 User 的POJO class

       

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 相關推薦 大資料量下高併發同步  對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題， 但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。    為了更好的理解併 大資料量下高併發同步的講解(高併發的瓶頸-需要處理的內容) 對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題， 但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。    為了更好的理解併發和同步，我們需要先 大資料量下高併發同步的講解（不看，保證你後悔）    對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題， 但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。    為了更好的理解併發和同步，我們 大資料量、高併發量網站解決方案       一個小型的網站，可以使用最簡單的html靜態頁面就實現了，配合一些圖片達到美化效果，所有的頁面均存放在一個目錄下，這樣的網站對系統架構、效能的要求都很簡單。隨著網際網路業務的不斷豐富，網站相關的技術經過這些年的發展，已經細分到很細的方方面面，尤其對於大型網站來說 大資料量，高併發解決方案 解決大資料量高併發要考慮多方面的1.HTML靜態化2.靜態檔案伺服器分離  如圖片、css、js檔案等；3.資料庫叢集4.負載均衡5.快取6.讀寫分離Discuz!NT資料庫讀寫分離方案，我感覺這個還不錯http://www.cnblogs.com/daizhj/archiv 【Itext】解決Itext5大併發大資料量下輸出PDF發生記憶體溢位outofmemery異常 關鍵字 itext5 outofmemery 記憶體溢位 大資料 高併發 多執行緒 pdf 匯出 報表 itext 併發大資料量高併發的時候，Itext5會發生記憶體溢位，outofmemery異常，經過大規模的記憶體檢查，發現Itext在生成表格的時候，使用了很多的Hash mysql大資料量下優化 1 優化sql和索引2 增加快取如：redis3 主從複製或主主複製，讀寫分離4 利用mysql自帶分割槽表5 先做垂直拆分，將一個大系統分為多個小系統，也就是分散式6 水平切分，要選擇一個合理的sharding key,為了有好的查詢效率，表結構也要改動，做一定的冗餘，應用也要改，sql中儘量帶shardi 大資料量下的集合過濾—Bloom Filter 演算法背景如果想判斷一個元素是不是在一個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。連結串列、樹、散列表（又叫雜湊表，Hash table）等等資料結構都是這種思路，儲存位置要麼是磁碟，要麼是記憶體。很多時候要麼是以時間換空間，要麼是以空間換時間。在響應時 大資料量下的SQL Server資料庫自身優化 原文： http://www.d1net.com/bigdata/news/284983.html 1.1：增加次資料檔案          從SQL SERVER 2005開始，資料庫不預設生成NDF資料檔案，一般情況下有一個主資料檔案(MDF)就夠了，但是有些大型的資 通過索引，極大提高MySQL大資料量下的查詢效率 我在這裡測試了兩個表的左連線查詢，SQL語句是：select a.blog_id,a.blog_title,a.blog_thumb,a.blog_click,a.blog_addtime,a.blog_show,b.blog_category_name from `thin 大資料量下查詢顯示優化方案小結 # 大資料量下查詢顯示優化方案小結 # 最近工作中，遇到了優化大批量資料查詢和顯示的問題，資料量在10W級別。經過反覆設計和討論，最終得到優化到了較為滿意的效果，在此記錄小結下，在解決此類問題中的思考。 ## 問題背景說明 ## 通常情況下，使用者查詢資料量不超過1千條，但有幾個大戶，通過某種方式，生成 JDK8 switch使用字串比if else 效率高,親測大資料量資料下 for (TemplateFormVO templateFormVO:templateFormVOS){ formid=String.valueOf(templateFormVO.getFormId()); formId=templateFormVO.getFormI 大資料量高併發的資料庫優化詳解(MSSQL) 轉載自：http://www.jb51.net/article/71041.htm 如果不能設計一個合理的資料庫模型，不僅會增加客戶端和伺服器段程式的程式設計和維護的難度，而且將會影響系統實際執行的效能。所以，在一個系統開始實施之前，完備的資料庫模型的設計是必須的。 一、資料庫結構的設計 在一個系統分析、設計 大資料量高併發訪問SQL優化方法 保證在實現功能的基礎上，儘量減少對資料庫的訪問次數；通過搜尋引數，儘量減少對錶的訪問行數,最小化結果集，從而減輕網路負擔；能夠分開的操作儘量分開處理，提高每次的響應速度；在資料視窗使用SQL時，儘量把使用的索引放在選擇的首列；演算法的結構儘量簡單；在查詢時，不要過多地使用萬用 大資料量高併發的資料庫優化(轉載) 一、資料庫結構的設計     如果不能設計一個合理的資料庫模型，不僅會增加客戶端和伺服器段程式的程式設計和維護的難度，而且將會影響系統實際執行的效能。所以，在一個系統開始實施之前，完備的資料庫模型的設計是必須的。     在一個系統分析、設計階段，因為資料量較小，負荷較低。我們往往只注意到功能的實現，而很難 高併發大資料量的資料庫的設計與優化 一、資料庫結構的設計。       資料庫模型設計的不合理，不僅會導致客戶端和服務端的程式設計和維護困難，而且會影響到系統實際執行的效能。在系統開始實施之前，完備的資料庫模型的設計是必要的。       在一個系統分析設計階段，由於資料量小，系統負荷低，我們往往只注重功能的 mysql 資料庫處理高併發、 大資料量 .日常軍規 ?6?1 來自一線的實戰經驗?6?1 每一軍規背後都是血淋淋教訓?6?1 丌要華麗，叧要實用?6?1 若有一條讓你有所受益，慰矣?6?1 主要針對資料庫開發人員總是在災難發生後，才想起容災的重要性；總是在吃過虧後，才記得曾經有人提醒過。目錄一.核心軍規(5)二.欄位類軍規(6)三.索引類軍規(5)四.SQL類 執行緒池，處理高併發問題，處理大資料量的方法 執行緒池個人認為，執行緒池的作用就是限制系統中執行執行緒的數量，避免伺服器超負荷；減少建立和銷燬執行緒的次數，從而減少了一些開銷。設計一個執行緒池單例，在內部建立指定數目的執行緒，並用一個執行緒空閒隊列表示可分配執行緒。注：還可以使用兩個靜態成員變數的方法限定最大執行緒數量。 大資料量高併發訪問的資料庫優化方法 一、資料庫結構的設計 如果不能設計一個合理的資料庫模型，不僅會增加客戶端和伺服器段程式的程式設計和維護的難度，而且將會影響系統實際執行的效能。所以，在一個系統開始實施之前，完備的資料庫模型的設計是必須的。 在一個系統分析、設計階段，因為資料量較小，負荷較低。我們往 大資料量高併發訪問資料庫結構的設計 如果不能設計一個合理的資料庫模型，不僅會增加客戶端和伺服器段程式的程式設計和維護的難度，而且將會影響系統實際執行的效能。所以，在一個系統開始實施之前，完備的資料庫模型的設計是必須的。    在一個系統分析、設計階段，因為資料量較小，負荷較低。我們往往只注意到功能的實現，而很