1. 程式人生 > >2017年全球大資料產業報告之海外篇(第六集)

2017年全球大資料產業報告之海外篇(第六集)

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

本文作者│吳極

微訊號│wujiwuji1023

本文轉載自公眾號星河融快(rongkuai888)  ,作者吳極(微信ID;wujiwuji1023)   中國軟體網獲授權轉載。

在《2017年全球大資料產業報告之海外篇(第五集)》中,我們著重為你介紹了企業服務領域中的銷售、客服、人法財這五大業務同大資料技術結合的應用。

在很多枯燥、繁瑣的工作過程中,大資料技術的出現極大的減少了員工機械性工作的數量,並賦予了員工更加靈活、可擴充套件的能力。如果說“人機結合”是人類最終的發展方向,那麼目前大資料技術對工作的輔助則可以看作是通往終極目標中的一個小起點罷了。

今天我們將繼續為你介紹企業服務版塊中的其他細分領域,包括公自動化、日誌分析,以及大資料安全。其中,

辦公自動化涉及範圍相對廣泛,目的是通過大資料、語音和影象識別等技術將檔案資料化、結構化,便於查詢與自動化處理;而“日誌分析”則相對專業,能夠自動分析彙總企業的日誌內容,提供IT環境等方面的視覺化結果與建議;“大資料安全”則是目前技術含量最高的領域之一,大資料與AI技術的結合能夠分析出漏洞,並根據威脅的特點主動發現及防禦,它不再僅僅是遇到攻擊後才能為系統打補丁。接下來我們就與你分享對上述三個領域的梳理,希望對你有所幫助。

首先我們將辦公自動化與企業日誌分析和網路安全這三個領域的典型大資料公司列舉如下,接下來我們將分版塊為你進行詳細介紹。

640.jpeg

第一

辦公自動化

將機械性的工作自動化一直是推動著技術進步的驅動力之一,一方面能夠提升效率增加企業的盈利,另一方面還能減輕員工在低附加值業務中耗費的時間,減輕工作壓力。上期介紹的面試人員分析公司HireVue和客戶體驗管理公司Medallia等都是在特定行業內的自動化解決方案,本期的辦公自動化則是能夠水平應用在各個行業的通用自動化辦公解決方案。

HyperScience的產品技術基於計算機視覺和影象識別,以幫助大型公司和政府組織加快文書工作的處理過程。第一款產品HS Forms用於解決繁瑣的資料輸入工作,能快速將手寫表格轉換為數字文字。例如,HSForms 可以讀取沃爾瑪的手寫訂單,並以比人工操作更高的準確度提取欄位和欄位值,快速地將資料載入到系統中。

第二款產品HS FreeForm具有更廣泛的用途,其不僅可以讀取電子郵件或信件的文字,還能理解其中的意義。這樣,大型組織可以過濾大量的手寫或鍵入的內容,將特定文件派發到相應的部門和工作流程中,並初步實現合同、條款的自動化處理。

640.jpeg

企業員工最頭疼的事兒,除了如今HyperScience能處理的各類文書外,還有繁瑣的報銷這一環節。AppZen針對這一痛點,幫助企業和員工雙方自動化報銷的處理流程,並幫助企業防範費用報銷欺詐。AppZen使用機器學習演算法和自然語言處理技術自動化分析費用報銷單,覆蓋所有收據、票據和檔案,並自動了解每筆費用的花銷原因及用處,同時通過數百個資料來源進行搜尋,以驗證商家身份和消費真實性。AppZen與所有主要的ERP和費用軟體無縫整合,包括Oracle、Concur和NetSuite,可以減少80%的審計費用,大大提高企業打擊詐騙的能力。

640.jpeg

第二

大資料日誌分析

企業內部的IT系統和開發的各類應用程式每天都在產生海量的日誌資料,單靠人力無法處理,因此大資料技術便成為了最合適的解決方案。應用大資料進行日誌分析,一方面能夠實時監測企業IT設施的執行情況保證最佳狀態,另一方面還能抓取各種應用程式的資料,實現統一搜索、日誌結構化,並能夠對日誌欄位進行分析探索等。

已經上市的Splunk目前市值超過80億美元,其技術能實時收集並索引所有機器資料(物理、虛擬和雲中),特色是不僅分析企業防火牆、資料中心等IT裝置資料,還能夠跨平臺收集不同格式、不同結構的日誌資料資訊。應用日誌可以全面記錄應用程式的執行過程、狀態以及結果,是解決故障、改進技術設計最有用的資料。

Splunk能夠即時讀取日誌資訊,只要檢測到被監控目錄有變更,Splunk就會讀取新增加的資料資訊,即使是日誌檔案正在被寫入的時候,所以仍然能夠保證實時性。

640.jpeg

Sumo Logic與Splunk的功能類似,但採用了SaaS的方式提供服務,能夠管理和分析公司IT設施日誌資料,確保該服務正常執行。它的主要功能是監測企業計算機產生的海量資料,輔助企業對資料日誌進行管理和分析,並將分析結果應用到安全性威脅檢測、輔助理解相關事件等。目前Sumo Logic已經將業務從搜尋、分析和日誌分析,擴充套件到應用程式效能管理和對物聯網的監控。

640.jpeg

第三

大資料安全

大資料和雲端計算時代的到來使得資訊保安領域面臨全新的挑戰。企業和各大組織對大資料平臺的應用,以及對於資料分析結果的依賴性使其網路及資訊系統每天都在產生大量資料,但大部分企業安全措施的提升通常趕不上大資料應用發展的速率。隨著資料由本地逐漸雲端化,全球網路空間安全形勢愈發嚴峻,需要應對的攻擊和威脅也變得日益複雜,資訊保安領域迎來了爆發式的增長。

由於安全領域專業化程度較高,涉及的發展路線在技術層面較為具體,因此下面的介紹中研究院將從端點檢測防護、資料資訊保護、智慧化預防應對幾個方面具體介紹。

在網路端點的檢測及防護這個領域,由Hindawi父子於2007年所創辦的獨角獸Tanium是一個代表企業,其估值已經高達37.5億美元。作為端點檢測行業內的領頭羊,Tanium可以快速掃描企業大型全球網路中的所有端點,發現並修復安全漏洞,找出並控制未受管理的裝置,由技術人員遠端進行清理和維護。Tanium最大的價值在於它可以為任何規模的企業內部網路提供網路保護,並確保處理量不會影響檢測速度和簡單的使用者體驗。通過Tanium,系統管理員可以在數秒時間內訪問任何裝置,包括電腦、伺服器、收銀機、甚至心率監視器。 

在端點防禦的細分領域還有另一家獨角獸公司Cylance。與Tanium不同,Cylance更加偏向端點的預防和威脅檢測分析與防護。Cylance是第一個將人工智慧與機器學習技術應用於網路安全的公司。Cylance複雜的AI架構通過機器學習,可以不斷讓自主分析能力自動迭代,並對突破性的預測分析程序不斷優化。這樣的模式不需要人為技術加工和升級,還能夠依據對網路攻擊的理解推斷出攻擊者的心態,幫助使用者真正預測並防止高度潛在網路安全威脅的發生。

網路安全的另一個關鍵領域是資料以及雲資訊保護,其中CipherCloud的平臺是一個數據傳輸至雲環境之間的閘道器,對資料進行SSE實時加密,僅有在經授權的使用者從雲環境下回收資料時才會被解密。加密金鑰將儲存在使用者本地,不與雲提供商共享。CipherCloud旗下的產品組合可以保護市面上眾多主流的雲應用,比如Salesforce、Box、Microsoft Office 365等。

640.jpeg

只專注於雲資訊防護的獨角獸Illumio 的自適應安全平臺(ASP)完全獨立於底層架構,可以將具體資料中心或者雲環境的工作進行視覺化,並給予管理員完整的控制權。通過安全監控和防護每個工作單元或應用,自適應平臺的策略計算引擎(Policy Compute Engine)可以靈活地根據具體情況擬定相應的安全策略並保證策略的完整部署。Illumio可以將安全從底層網路系統和虛擬機器監視器分割開來,以允許安全防護在各種不同的計算環境下工作,包括私人資料中心、私有云和公有云等。

專門提供智慧的威脅應對及詐騙預防及交易安全的公司ThreatMetrix擁有自有的全球化ThreatMetrix決策引擎和資料庫ThreatMetrix Digital Identity Network,以及自有的基於蜜罐網路(Modern Honeypot Network,是一種對攻擊方進行欺騙的技術,通過佈置誘餌主機誘使攻擊,從而對攻擊行為進行捕獲和分析,瞭解攻擊技術推測攻擊意圖和動機,增強實際系統的安全防護能力)的集合中心ThreatMetrix Integration Hub。得益於蜜罐網路架構的企業級蜜罐管理系統,企業以及組織機構可以在幾分鐘內搭建一套完整可用的主動防禦網絡。

ThreatMetrix通過運用市場領先的雲技術來驗證網路上的數字身份和交易資訊。通過ThreatMetrix旗下的ThreatMetrix Digital Identity Network來核查全球範圍內成千上萬個網站的數十億的年交易記錄,實時檢測應用、裝置及地區內的每項執行日誌,以保護企業和端點使用者來自安全漏洞、木馬詐騙、企業安全網路攻擊的狀況,並保護端點客戶不受賬戶被盜、支付詐騙和欺騙性賬號註冊等非法軟體和資料破壞的影響。

相比ThreatMetrix,Anomali更偏向智慧化應對威脅的策略方案,沒有那麼多對雲以及雲安全的處理,通過將數千萬個威脅指示器與企業使用者網路內的活動記錄進行相關分析,為企業提供更早期的內部異常檢測和認證。其主要檢測方法可以將每個攻擊鏈的端點進行檢測,可以在企業受到實際攻擊並遭受損失前消除威脅。

Anomali的資料運用及分析處理同樣通過運用開源的Hadoop框架以及現代蜜罐網路(Modern Honeypot Network)架構實現。如圖所示是一幅由Anomali旗下的ThreatStream平臺進行定製的基於Hadop的蜜罐網路架構,與大部分安全公司運用的是原理相近,只不過在不同的接收站以及端點會部署自家的認證系統或分類識別器。

640.jpeg

除蜜罐網路之外,Anomali也通過集合Splunk平臺的伺服器,利用其領先的資料收集能力將使用者資料傳輸至Anomali Enterprise並進行集中分析處理。同時,使用者也可以將本地的資料與Anomali的安全威脅雲資料庫進行比對,以增強對威脅的防範。

640.jpeg

0?wx_fmt=jpeg

軟體網每日新聞播報

0.png?

  第9-7期第9-6期第9-5期第9-4期

0.png?往期精彩回顧0.png?

—SaaS—

—基礎架構—

—國產化—

管理會計

—雲端計算—

—人工智慧—

—資訊保安—

—軟體園—

—大資料—

640.png?

0.png?

0?wx_fmt=gif

0.gif?
點選“閱讀原文”

相關推薦

資料和雲端計算技術週報8期:NoSQL特輯

寫在第8期特輯 “大資料” 三個字事實上是個marketing語言,從技術角度看,包括範圍非常廣。計算、儲存、網路都涉及。 為了滿足眾多同學學習和工作的須要。後面社群依據情況逐漸推出專門的分類集錦。希望大家喜歡! 究竟什麼是NoSQL?公眾號一系列

資料和雲端計算技術週報9期

寫在第9期週報堅持是一種品格!社群祝大家新年快樂!“大資料” 三個字其實是個marketing語

資料和雲端計算技術週報55期

寫在第55期“大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、

資料和雲端計算技術週報0期

寫在第0期週報 Q1:為什麼要搞一個週報: A1:受眾多社群日報、週報的啟發(如灣區日報,ES日報等等),所以大資料和雲端計算技術社群經過眾多討論,也決定搞一個週報。目的很簡單,營造分享的氣氛,同時參與的同學能從中學到東西。 Q2:為什麼是第0期,不是從1開始嗎? A2:程式設計師寫程式碼不是上來就int

2017中國資料發展趨勢和展望解讀(上)

導讀:2015年8月,國務院印發《促進大資料發展行動綱要》,首次明確提出建設資料強國;2015年10月,黨的十八屆五中全會提出“實施國家大資料戰略”,將大資料上升為國家戰略。其後,國家政府部門、科技研究院、網際網路大企業、傳統工業企業等不斷髮布戰略藍皮書,對未來進行規劃

2018醫療資料產業的發展及解決方案

醫療大資料產業背景分析     近年來,健康醫療大資料相關產業已經被列入國家大資料戰略佈局,和醫療健康大資料相關的政策頻出。在眾多健康醫療大資料相關政策中,其中比較著名的是2014 年國家衛計委制定“46312”工程,即建設國家級、省級、地級市、縣級4 級衛生資訊平臺

2017---醫療資料視覺化研究綜述

醫療大資料視覺化研究重點(總結) 醫療大資料包含各種形式的資料,文字的,影象的,數字的,,, 醫療大資料視覺化的應用於精準醫療、生物醫藥、公共衛生分析中。現在仍存在很多問題: (1)醫療資訊保安性 資訊的安全性是至關重要的。 (2)系統化視覺化方法 從眾多

2017中國資料發展趨勢和展望解讀(下)

(六)工業大資料為實現製造強國提供強大支撐 隨著工業大資料創新應用的不斷深化發展,我國將迎來以資料驅動的全生命週期以及全產業鏈的優化升級。工業大資料在自身基礎設施建設以及同其他產業平臺的融合將更加完善,必將探索出製造業網路化、數字化和智慧化發展的新模式。 *工業大資料是指在工業領域中,圍繞典型智慧製造

2017資料就業前景怎麼樣?

最近幾年,大資料這個詞突然變得很火,不僅納入阿里巴巴、谷歌等網際網路公司的戰略規劃中,在我國國務院和其他國家的政府報告中多次提及大資料,大資料無疑成為當今網際網路世界中的新寵兒。 “馬雲的無人超市”,“看李彥巨集如何談AI”等新聞熱點,都展示出了人工智慧的快速發展,人工智慧

資料叢集搭建環境準備虛擬機器

以虛擬機器環境測試的 物理機不一定適用 系統是Centos7的 1、配置靜態ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.

2017秋季學期軟件工程第一次作業曹洪茹

感覺 狀態 軟件學習 實戰 解決問題 都沒有 不同 引導 體制 作業一 在開始作業要求的正文之前,我先簡單談談自此課開課以來,包括讀了許多大牛寫的博文之後的幾點感悟和思考。 首先,作為一名有四年地方大學生活經驗的軍校研究生,我很激動也很慶幸在研究生階段能遇到這麽一門真正實現

日本資料應用環境和發展狀況附PPT下載

本篇選自野村綜合研究所數字基礎開發部部門經理、高階研究員城田真琴先生近日在“大資料應用中日交流論壇”上所做的題為《日本的大資料應用環境和發展狀況》的演講。 公眾號後臺回覆"181206"即可獲取PPT原文 本篇主要分為四點與大家分享: 日本大資料發

拿到6個offer的面試經驗-2015硬體類筆面試經歷面試

 如果說一份好的簡歷是求職的敲門磚,筆試是求職的通行證,那麼面試的好壞就直接決定著你是否能拿得到工作這張門票。        找工作到現在,我拿到的offer一共有6個,按時間順序是華為,36所,阿爾卡特朗訊,國家核電,兆芯,菲尼薩光電。這些公司提供的崗位我都還比較喜

區塊鏈百城行動:全球區塊鏈政策梳理中國-MGC Group

    前言  2018年被定義為區塊鏈元年,在基於“區塊鏈+”概念成為繼“網際網路+”之後的又一次風潮的背景下,越來越多的政府機構開始重視並參與到區塊鏈技術的研發中來。  5月20日,工信部資訊中心正式釋出《2018年中國區塊鏈產業發展白皮書》(以下簡稱白皮書),這是國內第

資料和雲端計算技術週報83期)

大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。      本期會給大家奉獻上精彩的:神經網路、HBase、Hive、spark、推薦系統、MangoDB、AIops。全是乾貨

資料和雲端計算技術週報72期)

大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。      本期會給大家奉獻上精彩的:MongoDB、YARN 、mysql、實時流、Kakfa 、推薦系

資料和雲端計算技術週報71期)

大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉及,知識點廣、學習難度高。      本期會給大家奉獻上精彩的:MongoDB、大資料 、網路安全、實時流、搜尋與推薦 、騰訊架構、

資料和雲端計算技術週報76期)

大資料” 三個字其實是個marketing語言,從技術角度看,包含範圍很廣,計算、儲存、網路都涉

資料:怎樣在虛擬機器VMware Workstation Pro中配置IP地址

在虛擬機器中配置IP地址的步驟: 1、配置IP地址 在目錄/etc/sysconfig/network-scripts/ifcfg-ens33下 修改: 將 BOOTPROTO=DCHP 改為 BOOTRPOTO=none  //ip地址為靜態分配 將ONBOOT=no