從幾個案例看看Splunk的資料分析有什麼不一樣
大資料最典型,人們最熟悉的應用場景就是精準營銷,根據使用者既往的行為資料做出分析,然後做出預測,以此輔助企業的營銷過程,除此之外,大資料還能做什麼?還有哪些應用場景呢?
Splunk是一家特別的大資料分析服務公司,它的資料分析與傳統的資料處理的方式有所不同。
Splunk的工作物件主要是機器資料,所謂機器資料是指IT環境中包括作業系統,資料庫應用,ERP,移動終端、電腦、伺服器、路由器等任何裝置上產生的資料,Splunk可基於任何來源,任何型別,任何數量的資料來源,進行關聯處理,關聯分析最後為使用者服務。
比如,Splunk可以提供智慧化的IT的運維,利用大資料精準定位使用者的問題,快速處理問題,用AIOps來解決運維問題;Splunk可以提供成面,成體系的安全服務,通過分析來發現未知的安全威脅;Splunk的業務分析服務可用來改善產品和使用者體驗,監控使用者的使用資料,使用APP的資料,以此來改善他的產品和服務。
在實際應用中,Splunk有很多實踐案例可以分享。
納斯達克用Splunk做內部外部的威脅分析,作為一家金融交易機構,安全是至關重要的。事實上,納斯達克與許多企業一樣,有很多來自於外部內部的安全威脅。比如系統會發現離職員工訪問企業賬戶的異常,結合其他相關資料判定行為是否正常,比如防止人員流動造成的IP智慧財產權流失,或者及早發現IP智慧財產權流失的問題。
國內某大型金融機構使用Splunk做運維。一方面,IT架構越來複雜,故障定位也越來越難。交換機報錯找交換機,資料讀寫錯誤找資料庫,交換機的報錯可能是資料庫造成的,有些東西沒法一下找到問題,Splunk平臺能對所有資料進行關聯分析,能清楚定位報警。一方面,100個報警提示其實可能只有一個真正問題,Splunk關聯分析之後能做告警壓縮。報警壓縮的價值在哪兒?一天幾十萬條報警要怎麼處理呢?有的人外包,有的人認為刪掉一部分,面對茫茫多的報警資訊,處理起來非常麻煩,想解決的話,只有加派人手了,這是成本。
製造業裡的寶馬新能源車也在用Splunk,寶馬新能源車的設計研發模擬交付使用者跟蹤都在用Splunk,用前期記錄的資料來做流程返工,迅速找出問題的所在,Splunk可以監控所有電動車的使用過程,通過對所有電動車行駛規矩,停留的地點,停留時間的分析判斷在哪兒放充電站。寶馬會利用收集到的各種資訊來分析和改善產品。
Splunk幫特斯拉監控特斯拉汽車從研發到生產,到後續的交付,到使用者的使用,資訊的採集的全過程,能收集到使用者的駕駛習慣、踩剎車的習慣、打方向盤的習慣,能記錄開車的頻率、習慣的速度,給出一些提醒建議,幫助改善產品,實現快速迭代。
Splunk能分析的資料非常全,然後能對資料做全面的關聯,這就是Splunk最大的特點了。
天學網是一家以智慧學習產品和平臺服務為主的教育服務的公司,每天有幾百萬付費使用者,這些使用者非常重視使用體驗,這為運營提出了很多挑戰,因為使用者對於錯誤基本上是零容忍。
天學網副總裁劉文(左)和Splunk 中國區總經理嚴立忠(右)
天學網副總裁劉文表示,故障出現後的響應時間只有分鐘級,以往小時級的響應是完全不行的。
為了提升保障使用者的使用體驗,六年前開始,天學網自主開發了一部分監控系統,也有一部分使用了開源的監控系統,所以,天學網本身其實有技術積累的。
儘管如此,但是面對一些具體的問題時也是無從下手,或者說自己投入辛辛苦苦做出來的東西效果達不到預期,或者達到預期後的代價非常高。
大約從三年前開始,天學網開始使用Splunk的方案。天學網副總裁劉文這樣說道,我從當前60分水平想要做到80分的話,需要花很大代價,我現在用Splunk的方案能做到90分以上,而代價遠比我自己做的要小。Splunk的使用體驗讓劉文深刻體會到了什麼叫術業有專攻。
劉文將與Splunk的合作過程總結為三個需求階段
據瞭解,天學網跟Splunk的合作不到三年,當前能做到快速,定位和解決問題,這是第一階段,在Splunk的幫助下,天學網的技術團隊得以能專注於研究教學技術,將智慧技術注入其中,下一階段,天學網想在問題出現之前解決問題。
在天學網的使用者中80%以上的場景需要在家裡完成,使用者產生的資料90%以上是非結構化的。比如使用者練習英語口語的時候會產生錄音,產生筆記,百萬級使用者規模下,資料量將非常大,如何發現服務過程中的潛在問題將會帶來很高的價值。
如今,天學網已經著手第二層級的需求,劉文表示十分看好其前景,能夠很大程度上提高故障反映速度,提升使用者體驗,這對於復購率和使用數字兩方面都非常重要。在滿足第二層級需求的過程中,劉文還意識到,引入Splunk的服務引進的不只是一套技術,而且是引進了一套業內的最佳實踐經驗。
第三個階段的想要達到的效果是從立體的視角審視發生了什麼。審視使用者來的時候有沒有遇到問題,購買行為怎麼樣?使用過程中有沒有遇到麻煩,可能遇到什麼問題。
第三個需求也開始嘗試,天學網考慮將Splunk用在全業務流程管理,用來分析底層機器資料,上層應用資料,業務層面的資料等等。
劉文認為,開源的方案是一條路徑但是構建和使用成本太高了,效率和質量也很難滿足實際需求,這時候確實需要一個很強的工具,他表示,教育行業對於質量和體驗的要求與醫療行業的要求特別像,便宜點當然好,但價格不是第一位。
他希望,底層系統的執行指標和上層一些業務指標以某種方式串起來,串起來之後來進行更快的迭代和決策,這件事有很強的探索性。
他相信,在Splunk的幫助下,一方面企業的生產力絕對是得到了提高。另一方面,整體擁有成本遠低於自己研發,既節省了金錢也節省了時間。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】