1. 程式人生 > >【轉載】高併發解決:常見併發同步案例分析

【轉載】高併發解決:常見併發同步案例分析

案例一:訂票系統案例,某航班只有一張機票,假定有1w個人開啟你的網站來訂票,問你如何解決併發問題(可擴充套件到任何高併發網站要考慮

               的併發讀寫問題)

    問題,1w個人來訪問,票沒出去前要保證大家都能看到有票,不可能一個人在看到票的時候別人就不能看了。到底誰能搶到,那得看這個人的“運氣”(網

             絡快慢等)

其次考慮的問題,併發,1w個人同時點選購買,到底誰能成交?總共只有一張票。

首先我們容易想到和併發相關的幾個方案 :

鎖同步同步更多指的是應用程式的層面,多個執行緒進來,只能一個一個的訪問,java中指的是syncrinized關鍵字。鎖也有2個層面,一個是java中談到的對

象鎖,用於執行緒同步;另外一個層面是資料庫的鎖;如果是分散式的系統,顯然只能利用資料庫端的鎖來實現。

假定我們採用了同步機制或者資料庫物理鎖機制,如何保證1w個人還能同時看到有票,顯然會犧牲效能,在高併發網站中是不可取的。使用hibernate後我們

提出了另外一個概念:樂觀鎖悲觀鎖(即傳統的物理鎖);

採用樂觀鎖即可解決此問題。樂觀鎖意思是不鎖定表的情況下,利用業務的控制來解決併發問題,這樣即保證資料的併發可讀性又保證儲存資料的排他性,保

證效能的同時解決了併發帶來的髒資料問題。

hibernate中如何實現樂觀鎖:

前提:在現有表當中增加一個冗餘欄位,version版本號, long型別

原理:

1)只有當前版本號》=資料庫表版本號,才能提交

2)提交成功後,版本號version ++

實現很簡單:在ormapping增加一屬性optimistic-lock="version"即可,以下是樣例片段

<hibernate-mapping>

<class name="com.insigma.stock.ABC" optimistic-lock="version" table="T_Stock" schema="STOCK">

案例二、股票交易系統、銀行系統,大資料量你是如何考慮的

首先,股票交易系統的行情表,每幾秒鐘就有一個行情記錄產生,一天下來就有(假定行情3秒一個) 股票數量×20×60*6 條記錄,一月下來這個表記錄數

量多大? oracle中一張表的記錄數超過100w後 查詢效能就很差了,如何保證系統性能?

再比如,中國移動有上億的使用者量,表如何設計?把所有用於存在於一個表麼?

所以,大數量的系統,必須考慮表拆分-(表名字不一樣,但是結構完全一樣),通用的幾種方式:(視情況而定)

1)按業務分,比如 手機號的表,我們可以考慮 130開頭的作為一個表,131開頭的另外一張表 以此類推

2)利用oracle的表拆分機制做分表

3)如果是交易系統,我們可以考慮按時間軸拆分,當日資料一個表,歷史資料弄到其它表。這裡歷史資料的報表和查詢不會影響當日交易。

當然,表拆分後我們的應用得做相應的適配。單純的or-mapping也許就得改動了。比如部分業務得通過儲存過程等

此外,我們還得考慮快取

這裡的快取,指的不僅僅是hibernate,hibernate本身提供了一級二級快取。這裡的快取獨立於應用,依然是記憶體的讀取,假如我們能減少資料庫頻繁的訪

問,那對系統肯定大大有利的。比如一個電子商務系統的商品搜尋,如果某個關鍵字的商品經常被搜,那就可以考慮這部分商品列表存放到快取(記憶體中

去),這樣不用每次訪問資料庫,效能大大增加。

簡單的快取大家可以理解為自己做一個hashmap,把常訪問的資料做一個key,value是第一次從資料庫搜尋出來的值,下次訪問就可以從map裡讀取,而不

讀資料庫;專業些的目前有獨立的快取框架比如memcached 等,可獨立部署成一個快取伺服器。

4、常見的提高高併發下訪問的效率的手段

      首先要了解高併發的的瓶頸在哪裡?

     1、可能是伺服器網路頻寬不夠

     2.可能web執行緒連線數不夠

     3.可能資料庫連線查詢上不去。

  根據不同的情況,解決思路也不同。

  1. 像第一種情況可以增加網路頻寬,DNS域名解析分發多臺伺服器。

  2. 負載均衡,前置代理伺服器nginx、apache等等

  3. 資料庫查詢優化,讀寫分離,分表等等

   最後複製一些在高併發下面需要常常需要處理的內容:

儘量使用快取,包括使用者快取,資訊快取等,多花點記憶體來做快取,可以大量減少與資料庫的互動,提高效能。

用jprofiler等工具找出效能瓶頸,減少額外的開銷。

優化資料庫查詢語句,減少直接使用hibernate等工具的直接生成語句(僅耗時較長的查詢做優化)。

優化資料庫結構,多做索引,提高查詢效率。

統計的功能儘量做快取,或按每天一統計或定時統計相關報表,避免需要時進行統計的功能。

能使用靜態頁面的地方儘量使用,減少容器的解析(儘量將動態內容生成靜態html來顯示)。

解決以上問題後,使用伺服器叢集來解決單臺的瓶頸問題。

(轉載)java高併發,如何解決,什麼方式解決

之前我將高併發的解決方法誤認為是執行緒或者是佇列可以解決,因為高併發的時候是有很多使用者在訪問,導致出現系統資料不正確、丟失資料現象,所以想到 的是用佇列解決,其實佇列解決的方式也可以處理,比如我們在競拍商品、轉發評論微博或者是秒殺商品等,同一時間訪問量特別大,佇列在此起到特別的作用,將 所有請求放入佇列,以毫秒計時單位,有序的進行,從而不會出現資料丟失系統資料不正確的情況。

今天我經過查資料,高併發的解決方法有倆種:

一種是使用快取、另一種是使用生成靜態頁面;還有就是從最基礎的地方優化我們寫程式碼減少不必要的資源浪費:(

1.不要頻繁的new物件,對於在整個應用中只需要存在一個例項的類使用單例模式.對於String的連線操作,使用StringBuffer或者StringBuilder.對於utility型別的類通過靜態方法來訪問。

2. 避免使用錯誤的方式,如Exception可以控制方法推出,但是Exception要保留stacktrace消耗效能,除非必要不要使用 instanceof做條件判斷,儘量使用比的條件判斷方式.使用JAVA中效率高的類,比如ArrayList比Vector效能好。)

首先快取技術我一直沒有使用過,我覺得應該是在使用者請求時將資料儲存在快取中,下次請求時會檢測快取中是否有資料存在,防止多次請求伺服器,導致伺服器效能降低,嚴重導致伺服器崩潰,這只是我自己的理解,詳細的資料還是需要在網上收集;

使用生成靜態頁面我想大家應該不模式,我們見過很多網站當在請求的時候頁面的後最已經變了,如“http://developer.51cto.com/art/201207/348766.htm”該頁面其實是一個伺服器請求地址,在轉換成htm後,訪問速度將提升,因為靜態頁面不帶有伺服器元件;在這裡我就多多介紹一下:

一、什麼是頁面靜態化:

簡 單的說,我們如果訪問一個連結 ,伺服器對應的模組會處理這個請求,轉到對應的jsp介面,最後生成我們想要看到的資料。這其中的缺點是顯而易見的:因為每次請求伺服器都會進行處理,如 果有太多的高併發請求,那麼就會加重應用伺服器的壓力,弄不好就把伺服器 搞down 掉了。那麼如何去避免呢?如果我們把對 test.do 請求後的結果儲存成一個 html 檔案,然後每次使用者都去訪問 ,這樣應用伺服器的壓力不就減少了?

那麼靜態頁面從哪裡來呢?總不能讓我們每個頁面都手動處理吧?這裡就牽涉到我們要講解的內容了,靜態頁面生成方案… 我們需要的是自動的生成靜態頁面,當用戶訪問 ,會自動生成 test.html ,然後顯示給使用者。