資料庫是企業級關鍵業務裡最重要的應用，無論是網際網路企業，還是非網際網路的（傳統）企業，最核心的資料，都放在資料庫裡面。

以Oracle為代表的關鍵業務資料庫，具備了高可靠與高可用兩大指標。因此面向關鍵業務應用的軟硬體平臺，一直都在尋找更好的計算平臺，以前在金融行業流行的小型機環境就是企業關鍵業務最真實的需求寫照。

去IOE與Oracle

大約從2000年開始，王牌組合“IOE”是關鍵業務資料庫應用的最佳組合（小型機+商業資料庫軟體+集中式儲存）。但是時間到了2010年，在網際網路和非網際網路（企業）戰線上，替代IOE成為一個熱門話題，最廣為人知的當屬網際網路巨頭阿里巴巴掀起的“去IOE”：用成熟的x86伺服器取代小型機；用PCIe SSD取代高階磁碟陣列。

IOE陣營內部也在變革： Oracle於2009年收購Sun之後，正式推出自己的資料庫一體機Exadata，同樣是用x86+PCIe SSD組合把“IE”踢出局。Exadata主要面向傳統企業市場，但也有PayPal這樣的標杆型網際網路使用者。

上圖是ExadataX5的典型架構，最上為DB Server，可以是雙路E5（比如X5-2），也可以是八路E7（比如X5-8），最小兩節點組成RAC，保證高可用，上面執行ASM為資料庫提供儲存介面；而應用資料則是通過雙冗餘InfiniBand交換機連線儲存在（最小）三臺儲存伺服器上（Oracle稱為Cell），儲存伺服器內使用兩塊或多塊PCIe SSD作為快取

在新一代企業關鍵業務資料庫裡，有了一個新的成員——NVMe SSD。傳統插卡式PCIe SSD在可維護性上不如驅動器形式的SAS/SATA SSD，SFF-8639規範在SAS聯結器的基礎上增加了PCIe x4的電氣介面，在背板的支援下，可以像SAS/SATA SSD或硬碟一樣安裝在2.5英寸驅動器插槽中，便於從伺服器前端維護。為了方便傳播，大約在2015年，SFF-8639有了一個U.2的“俗名”。U.2在相容SAS/SATA介面的基礎之上，增加了對PCIe ×4的支援，理論頻寬可到4GB/s（PCIe 3.0）。

Oracle容量型ExadataStorage Server採用插卡式PCIe SSD，新增的全快閃記憶體Exadata Storage Server使用U.2 SSD，兩者都是PCIe NVMe SSD，只是外形規格不同。由此可見，只要條件成熟，Oracle對新技術的採用是非常大膽、迅速的。SATA介面有限的頻寬限制了SSD的效能發揮，而且到6Gb/s後已不再發展；而PCIe 3.0 x4的頻寬接近SATA的七倍，NVMe又進一步縮短了延遲，效能上構成全方位的壓倒性優勢。

上圖是PCIe介面速率，在2.0時代，PCIe x1就有500MB/s，稍遜於SATA介面，但PCIe SSD通常是x4通道配置。而進化到PCIe 3.0，PCIe x4通道理論頻寬可達4GB/s，優勢十分明顯

8路伺服器+NVMe的夢幻組合

圖：聯想SR9508路伺服器最大支援24塊U.2 NVMe SSD，送測機型安裝了4塊960GB U.2 SSD，4塊600GB SAS HDD

當8路的聯想SR950伺服器配置了4塊U.2 SSD來到企事錄實驗室的時候，我們的第一個反應——這是一套適合Oracle資料庫應用的硬體平臺。

據ITIC2017伺服器調查報告顯示，聯想System x系列伺服器年度平均故障停機時間是最短的。最新一代的聯想SR950作為System x嫡傳型號，依舊由聯想北美伺服器研發團隊打造（前System x研發團隊），延續了System x X6系列伺服器的高可靠、高可用特性

作為率先上市的8路伺服器，聯想SR950具備了高計算密度的特徵，它在4U的機箱內塞進了8顆英特爾最新發布的Xeon8176處理器，而且延續了上一代System x3950 X6的獨立系統板設計，既具備高密度的特性，也保持了高RAS的設計。

從之前企事錄的SR950結構解析中可以看到，SR950分為4層結構，每層都是具備兩顆處理器的系統板，4層系統板共8顆處理器，它們之間通過背板實現UPI匯流排互聯

SR950的每塊系統板上都安裝了兩顆Xeon 8176處理器，24條32GBDDR4-2666記憶體，除了兩顆處理器間的UPI匯流排在板內互聯，2顆處理器剩餘的4根UPI匯流排都由介面和背板互聯（桔色框），同時2顆處理器所提供的48lane*2的PCIe3.0大部分由背部介面引出（40lane*2，其中8lane*2被板載的NVMe插槽使用），可以直接與擴充套件倉對接，SR950整機提供多達13條的PCIe 16X擴充套件槽，滿足使用者各類高I/O裝置的頻寬需求。

每顆處理器還有一個板載的PCIe 8X介面用於直聯U.2 SSD（綠色框，每介面可連線兩塊U.2 SSD），因此8路伺服器最多可以直聯16塊PCIe 4X的U.2 SSD。

這是聯想SR950伺服器4塊系統板的互聯框架示意圖，從圖中可以看到，SR950每套系統板都提供了4個UPI匯流排介面，1/2，3/4板間交叉互聯，然後1/4,2/3間採用了環形的RING架構互聯。

上圖是Intel的官方4路/8路伺服器的互聯框架圖，8路的架構圍繞每顆處理器3條UPI架構搭建，為8路RING架構；中間的4路架構在3條UPI的支援下，可以搭建出效率最高的4路MESH架構

前文提到，SR950送測配置有4塊U.2 SSD，它們分為兩組，分別接在第二塊系統板的兩顆處理器的PCIe 8X通道上，單塊容量960GB。

[email protected]聯想SR950效能實戰

我們在聯想SR950上部署了Oracle 12c環境，將0、1、2盤位的3塊U.2 SSD用ASM統一管理，用於資料；位於3盤位的一塊U.2 SSD則作為recover盤。至於OS系統，則由600GB的SAS HDD來負責。

這是系統監控下4塊U.2SSD的工作狀態。

我們使用一臺雙路Xeon E5-2699 v3伺服器作為壓力機，執行Swimbench，通過雙口萬兆乙太網對聯想SR950的Oracle 12c資料環境進行了壓力測試（70%讀30%寫）。聯想SR950伺服器基於3塊U.2 SSD，輕鬆實現248.8萬的峰值TPM，TPS效能達到4.4W，此時處理器的使用率才16%，如果新增效能更強大的儲存，相信Oracle 12c的效能會更高。從這個細節也可以看出聯想SR950在計算效能上確實夠強大。

測試結果解析：

本次SR950Oracle效能測試中只有3塊U.2 SSD參與Oracle 12c的效能測試（所有資料落盤），且3塊U.2硬碟連線在同一塊系統板兩顆處理器的PCIe介面上，其他處理器在測試中需要讀盤/落盤資料時需要經過UPI互聯甚至多顆處理期間跳轉才行，會間接影響Oracle 資料庫的效能。

企事錄測試聯想SR950環境為單例項Oracle資料庫，SSD位於Oracle資料庫伺服器內部，未做高可用保護，主要驗證聯想SR950單機可以提供的Oracle高效能服務。在實際應用中，通常以2+3的配置來保證計算與儲存的高可用，即2臺Oracle資料庫伺服器做RAC，3臺儲存伺服器做故障域。這樣計算與儲存的分離不僅能夠有效保證整個資料庫系統的高可用，而且還可實現計算與儲存單元分別擴充套件。

如果為聯想SR950新增更多的NVMe SSD，並連線在不同的系統板上，相信這臺伺服器的計算效能會得到進一步的發揮，能夠獲得更為強大的Oracle 12c資料庫效能。