1. 程式人生 > >解讀|機器數據來了 ,你準備好了沒?

解讀|機器數據來了 ,你準備好了沒?

聯網 專車 提升 數據包 考勤 ada 用戶訪問 環境 決策

當你早晨發現上班快要遲到,這時你迅速打開手機,用打車軟件叫上一單,你的地理位置信息將會被自動獲取,專車幾分鐘就會來到你的身邊。

當你來到公司,掏出員工卡,通過門禁刷卡的方式,十分方便地完成了你的上班考勤。
技術分享圖片
當你在異地見一個很重要的客戶,你發現客戶跟你約定的會面場所,你並不清楚它的具體位置,這時你只需借助手機中的導航軟件,幾秒便可輕松、準確的在地圖中找到會面的具體位置。
技術分享圖片
科技的飛速發展,為人們帶來了無法想象的便利,互聯網將萬物巧妙的聯系起來,現在更是衍生出了“物聯網”的概念。
技術分享圖片
那麽問題來了,在如此神奇的互聯網中,各種終端產品是怎麽巧妙的建立聯系的呢,是在什麽基礎上進行通信的呢,這就引出了這次要講的重點——機器數據。

我們大家都知道,當今現代化科技的高速發展,都是依賴於計算機編程,如果追溯到最根本的源頭,都是可以抽象成二進制數據,那麽也就是說,互聯網萬物互聯的本質就是數據的交互,當今的世界,可以毫不猶豫的說:

我們將從以下三個方面為大家介紹機器數據

機器數據是什麽?

機器數據應用有哪些?

機器數據的未來在哪兒?

機器數據是什麽?

大數據中90%的數據都是機器數據。機器數據是由服務器、存儲、互聯網及物聯網中的設備或程序生成的大量結構化、非結構化的數據。相比傳統數據庫數據,機器數據具有數據量大、增長速度快、復雜性高、種類多樣化等特點,其中最重要的一點就是機器數據的價值密度非常低,想要在海量機器數據中挖掘有價值的數據,難度無異於沙中掘金。

據權威IT信息咨詢分析公司IDC研究報告預測:全世界數據總量未來幾年將從2010年的1.2ZB增長到2020年的40ZB(1ZB=1000EB=1000000PB),10年將增長34倍,年均增長44%。

下面是幾類關鍵的機器數據來源:

1、應用日誌應用日誌是應用系統產生的各類日誌數據,主要包括操作日誌、系統日誌、安全審計日誌及各類企業中間件產生的日誌。

2、SCADASCADA(Supervisory Control And Data Acquisition)系統,即數據采集與監視控制系統。它應用領域很廣,可以應用於電力、冶金、石油、化工、燃氣、鐵路等領域的數據采集與監視控制以及過程控制等諸多領域。SCADA系統會實時產生大量的觀察信息、狀態信息和故障報警等機器數據。

3、點擊流點擊流(click stream)是用戶訪問某一網站時的點擊次序或請求頁面。用戶訪問網站的點擊會產生大量的日誌記錄數據,這也是一種非常重要的機器數據,對其分析和挖掘有利於分析用戶的網站訪問行為,一般用於用戶畫像和精準營銷等場景。

4、GPSGPS是全球衛星定位系統,GPS的數據可以記錄設備的精確位置,然後通過連續對全球定位系統事件的分析可以很容易地轉換成位置和運動信息,例如在道路上的車輛,通過手機跟蹤用戶的位置。電信、交通、物流、通訊都在依靠GPS信息的準確性和精密性實現特殊價值

5、物聯網物聯網就是物物相連的互聯網。這有兩層意思:其一,物聯網的核心和基礎仍然是互聯網,是在互聯網基礎上的延伸和擴展的網絡;其二,其用戶端延伸和擴展到了任何物品與物品之間,進行信息交換和通信,也就是物物相息。

物聯網的最主要特征之一是節點的海量性,除了人和服務器之外,物品、設備、傳感網等都是物聯網的組成節點,其數量規模遠大於互聯網;同時,物聯網節點的數據生成頻率遠高於互聯網,如傳感節點多數處於全時工作狀態,數據流源源不斷,這些自動生成的數據幾乎全部都屬於機器數據。

機器數據應用有哪些?

可以說在當今世界,機器數據無處不在,它就真實的在我們身邊。下表是在不同行業使用機器數據的應用場景。

1、金融行業:交易欺詐交易欺詐一般是指第三方欺詐,即所發生的交易非持卡人本人意願的交易。通常是不法分子利用各種渠道竊取信用卡信息,進行偽造卡作案。

交易反欺詐的一種通用做法是采集所有的交易數據,這些數據包括消費金額、消費時間、商戶號(可計算地理位置),並結合一些其他來源的信息:已知的欺詐模式、已知的客戶旅行計劃等等,然後進行綜合評分,根據分值判斷一筆交易是欺詐交易的可能性。

從2011年8月起,Visa開始將各種大數據分析手段整合到公司的反欺詐檢測流程中。截至2013年3月,Visa的反欺詐系統已經識別出價值20億美元的欺詐交易。

2、電信行業:網絡管理與優化在網絡營層面,運營商可以通過機器數據分析網絡的流量、流向變化趨勢,及時調整資源配置,同時還可以分析網絡日誌,進行全網絡優化,不斷提升網絡質量和網絡利用率。

德國電信通過分析無線網絡的流量、日誌及速率等機器數據,能夠做到動態優化無線網絡資源的配置。如在白天給CBD地區多分配無線資源,在晚上,則給酒吧地區多分配無線資源,使得無線網絡的運行效率和利用率更高。

法國電信通過分析發現某段網絡上的掉線率過高,借助對網絡日誌、網絡流量等機器數據的分析,診斷出通話中斷的原因是網絡負荷過重,並根據分析結果優化網絡布局,為客戶創造了優質的網絡通話環境。

3、能源行業:智能電表北美公用事業公司的區域性智能電表項目,利用傳感器可以輕松地采集和共享能耗數據,供用戶進行分析。這些電表每隔10~60分鐘就會采集一次住宅用戶和商業客戶的能耗數據,並在當天將這些信息傳遞給公用事業公司進行計費和分析。相比之下,傳統電表和煤氣表則迥然不同,它們每月甚至每季度才讀取一次能耗數據,並且只根據消費總量進行評估,並不提供關於能源實際消耗時間的洞察分析。

有了智能電表,公用事業公司現在可以向用戶提供差異化的計費方式,例如在低谷時段實行低電價,高峰時段實行高電價。針對這一計費方式,公共事業公司非常有效地降低了高峰時段的能耗。

機器數據的未來在哪兒?

據國外專家預測,機器數據分析市場將呈現五大趨勢

(註:以下五大趨勢預測來源於36大數據):

1、DevOps工具將日趨成熟沒有人再懷疑雲計算在企業市場將風卷殘雲般成為主流平臺,大幅提高企業業務靈活性和競爭力。雲計算的普及意味著越來越多的企業需要新的工具來打破開發團隊和運維團隊之間隔膜,讓企業技術部門持續規模創新的速度能夠跟上企業業務發展速度。越來越多的企業需要借助DevOps完成應用開發工作,而傳統的監控工具顯然無法勝任。

2016年,DevOps領域將出現新一代基於雲計算的日誌和機器數據分析服務,並進一步整合預測算法。DevOps工具(例如服務器容器和基礎設施數據)之間也將能無縫集成,大幅改進持續集成和持續部署流程。

2、CISO首席信息安全官和安全運營團隊將在系統智能上投入更多預算過去幾年,企業已經認識到大數據在業務決策上的商業價值,如今隨著機器學習等技術的成熟,在系統基礎設施層面部署大數據分析對企業來說同樣意義重大。

對於安全團隊來說,機器數據分析將大大提高對系統和用戶異常行為、威脅偵測的響應速度,不僅僅能大大縮短MTTI(平均介入時間)和MTTR(平均恢復時間),而且將促使信息安全主管們重新思考企業的信息安全架構。

企業的信息安全主管們將加強與DevOps團隊的協作,通過整合機器分析,在新的企業應用基礎架構中嵌入安全功能。

3、日誌管理將是IT運維和客戶支持團隊的重大機遇通過日誌分析來監測、管理采集用戶和應用信息以及基礎架構日誌將是應對雲計算基礎架構復雜性的完美方案。這個領域的供應商已經開始整合,新的廠商也不斷湧入日誌分析市場。越來越多的企業將重視日誌分析在應用開發、信息安全和IT運維方面的重要價值,而日誌分析也將成為“分析民主化”的排頭兵。

4、“超級架構”的崛起今天的雲計算架構可以通過虛擬服務器軟件編織起數以千計的微處理器,這讓摩爾定律失去了意義。因此,今天的創新型CTO們已經開始拜托傳統數據中心的局限,大膽推動新的基於軟件的“超級架構”,駕馭私有雲和公有雲中的龐大計算資源。

5、商業智能的價值從後知後覺轉向實時分析從慢數據向實時的快數據的轉型是機器分析引發的商業智能變革。通過實施日誌數據分析,企業能更快地了解運營和顧客數據,從而實現24/7的持續創新和競爭力提升。

解讀|機器數據來了 ,你準備好了沒?