大資料產品和服務評價有了“公平秤”

今天越來越多的企業認識到，大資料的掌控和分析能力將成為競爭力的核心，企業對大資料的投資也在不斷擴大。Gartner調查顯示，73%的企業計劃在未來兩年內投資大資料。以開源Hadoop、Spark等為基礎的大資料基礎平臺解決方案和雲服務如雨後春筍不斷湧現，形成了近200億美元的市場規模。然而對於很多企業使用者來說，如何評價一個大資料平臺的綜合能力，常常是選型、平臺建設和系統優化時面臨的一大挑戰。目前來看，國內外還缺乏一套能體現大資料特點，又簡便易行，且被工業界廣泛認可的大資料平臺效能測試標準與工具。

記者日前從資料中心聯盟（www.dca.org.cn）獲悉，國內第一個大資料產品和服務基準測試規範《大資料平臺基準測試技術要求》已經制定完成，將於2015年1月底公開發布。與該規範配套的評測工具原始碼也將同期釋出，並移交開源社群持續開發。

該基準測試規範的主要評價物件主要包括大資料軟體平臺（如基於開源Hadoop、Spark平臺的商業軟體）、大資料軟硬一體機和雲端大資料服務三大類。規範根據大資料特點，精選了NoSQL、離線分析和實時互動分析等最具代表性的21個基本負載，能夠考核平臺在計算密集、I/O密集和混合任務等不同場景的表現。標準規定了資料生成、負載選擇、測試指標、用例執行和測試配置。標準還從使用者角度出發定義了多個維度的指標，不僅有基本的吞吐量質保，還有能耗、壓力、擴充套件性、容錯能力等多方面的指標，這些指標都是使用者在選型和採購最關注的。

資料中心聯盟常務副理事長何寶巨集把基準測試形象的比喻為“公平秤”，他說：“我們設計測試基準的過程是開放的，大家平等參與，可信雲和綠色資料中心相關標準制定都採用了這種方式，這些標準已經得到廣泛認可。接下來需要按標準開發工具，我們會以開放原始碼的方式把‘大資料公平秤’製造出來，並且免費交給廠商和使用者使用，組織大家一起完善，這樣買賣雙方心裡都有數，提高彼此的信任度。”“下一步，我們也將為可信雲和綠色資料中心等標準，開發一系列開源的公平秤，歡迎業界一起參與貢獻自己的力量。”

據瞭解，該規範是由該規範由中國資訊通訊研究院（原工業和資訊化部電信研究院）牽頭，聯合中科院計算所、華為、中國移動、Intel、微軟、IBM、新浪、百度、阿里、騰訊、浪潮、世紀互聯、UCould等國內外知名公司和科研機構共同制定，囊括了國內外主流大資料產品與服務提供商。

資料中心聯盟大資料工作組組長魏凱透露說：“聯盟作為第三方行業組織，計劃於2015年第一季度啟動第一輪評測活動，並公開發布測試結果。此次測試活動是不僅國內大資料廠商水平的首次展示，通過這樣的測試也可以減少廠商一些重複的、不必要的POC測試。”

據悉，下一步資料中心聯盟將逐步吸納行業典型應用場景，豐富測試用例和測試資料模型，形成覆蓋Hadoop/Spark、MPP、NoSQL等多種產品與服務、面向電信、金融、政務等多個行業的“端到端”測試基準。長遠目標是以基準測試工作為紐帶，在大資料行業使用者與平臺供應商之間構建交流合作橋樑，加速大資料技術與行業深度融合。