1. 程式人生 > >大資料應用方向思考

大資料應用方向思考

  一、 警惕大資料過熱

 

  1.1 過熱產生盲目性

  國內大資料的宣傳早已過熱,很多區縣級政府也在考慮成立大資料局,政府對大資料熱幾乎沒有抵抗力,企業沒有緊跟就對了,在大資料高潮中反省政府的大資料行為、冷靜一下頭腦是有益的,畢竟大資料應用是一個經濟問題,一窩蜂地大資料會使人犯“大鍊鋼鐵”一類的錯誤。


在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴

 

  1.2 大資料應用效益存在問題

 

  大資料最積極的推動者是政府,但是政府工作如何從大資料應用中獲益一直沒有清晰的答案,有效的大資料應用集中於網際網路企業和金融領域並非政府工作,迄今一本像樣的政府大資料應用案例都編寫不出來,這種情況下推力政府大資料應用會帶有很大的盲目性,這是技術導向而不是問題導向,技術導向必然會造成浪費。

 

  1.3 大資料不是包治百病的神藥

 

  現在對大資料的宣傳已經遠遠勝過對城市問題的探討,問題還沒搞清藥方就先開出來了,大資料藥方再靈也不可能解決自己都沒有診斷清楚的問題。任何技術都有其長處和短處,大資料也是一樣,都有其能解決與不能解決的問題,各地政府首先要明確要問題是什麼,然後再審視大資料技術能否發揮作用,不能反過來先定大資料再去找問題,政府工作明確目標永遠比搞清技術更重要。

 

  二、 大資料來源自網際網路的推動

 

  2.1 大資料是如何產生的?

 

  任何有社會影響力的新名詞都不是望文生義可以解釋的,這些名詞都被賦予了成語含義,“大資料”便是其一。歷史上超大規模的資料很多卻不被稱為大資料,是因為單純資料量增長並沒有形成巨大社會影響力。

 

  大資料概念是大的資料量與現代資訊科技環境相結合湧現的結果,因此引發了巨大的效益機會,“大資料”一詞的發明與宣傳是為了抓住這個新機會。

 

  2.2 沒有網際網路便沒有大資料

 

  任何資源的價值展現都離不開特定的環境,網際網路前的海量資料因缺少規模化的社會應用而不為人們重視,網際網路創造了大資料應用的規模化環境,大資料應用成功的案例大都是在網際網路上發生的,網際網路業務提供了資料,網際網路企業開發了處理軟體,網際網路企業的創新帶來了大資料應用的活躍,沒有網際網路便沒有今天的大資料產業。

 

  2.3大資料是“大智移雲物”的共同產物

 

  如果沒有汽車與高速公路石油產業不會那麼重要,同樣,沒有網際網路、雲端計算、物聯網、移動終端與人工智慧組合的環境大資料也沒那麼重要。大資料的價值並非與生俱來而是應用創新之結果,價值是由技術組合創新湧現出來的。離開環境的支援大資料毫無價值,就像離開了身體的手不再有手的功能一樣。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴
 

  三、 傳統大資料思維侷限於支援決策

 

  3.1 傳統的大資料應用理念

 

  人們對事物的想象力很容易受所用詞彙的暗示,“大資料”容易暗示人們關注資料規模而忽略資訊科技背境的巨大變化所湧現的新機會。政府官員的工作經歷很容易把大資料應用想象為只是統計應用在數量上的升級,大資料的作用是提取資訊,資訊的作用是改進決策,資料多意味著資訊多,資訊越多決策就越準確。在不少幹部的理解中,部門資料整合起來就是大資料。

 

  3.2 兩種資料使用方向:支援決策與支援操作

 

  在政府的工作中,資料對領導層的作用主要是改進決策,但基層工作人員不需要決策,資料是用來直接操作的。政府公共服務業務主要是操作問題,服務是規範的資料處理,基層工作人員只是按章辦事不需要決策分析。使用資訊科技是為了提高操作服務的效率。發改委等十部門提出的“一號一窗一網”的服務要求所要解決的只是提高操作的效率。改進決策與改進操作是大資料兩種不同的使用方向。

 

  3.3 專家(人腦)與系統(電腦)使用大資料的特點

 

  支援決策的資料應用是面向專家(包括領導)的,專家需要從資料中提取資訊,以資訊支援決策,從資料中領悟資訊是人腦獨有的本領,但不同人資訊領悟力並不一致,同樣的資料不同人領悟的資訊不同,對決策的影響也不同,應用結果的不確定性是專家使用大資料的特點。。

 

  支援操作的資料應用不能有不確定性,作業系統的資料應用是由系統控制的,操作按確定的規則進行,沒有自由量裁的可能,資料應用結果由軟體決定,這種應用是電腦在使用資料,電腦不懂資訊只會嚴格依資料操作,這種使用資料的模式保證了大規模業務行為的一致性。

 

  3.4 政府不能忽略操作型大資料應用

 

  政府工作存在著兩種大資料應用:支援決策與支援操作,但是在多數政府官員只想著大資料支援決策而想不到改進服務操作更有效益。大部分的政府服務的精細化改進並不是決策層次上改進,而是操作層次上的改進,政府提出的“一號一窗一網”式服務關鍵是提高操作的效率,實踐證明操作的優化的改進空間更大,大資料在提高政府決策水平上的成效往往不如提高操作效率成效明顯。

 

  四、 大資料決策的侷限性

 

  4.1 大資料小資料的不同來源

 

  以資料量來劃分大資料與小資料會忽略兩種資料更實質的差別,從資料產生的過程看,小資料是經人觸控過的資料,包括人工填報或更新、核對等。大資料是機器自動記錄的、未經人觸控過資料。

 

  小資料來自業務流程中的人工填報、統計調查等渠道,統計調查是可以根據決策資訊的需要專門設計的,為降低成本統計經常採用抽樣調查的方法。

 

  大資料來自自動化業務執行的副產品,出於成本的考慮,政府不大可能專為收集資訊而設計大資料收集鏈,為決策服務大資料只能利用業務系統產生的資料副產品,大資料的收整合本是由業務系統承擔的。大資料的來源受到業務系統種類的限制,不是所有的資訊需求都能找到恰當的資料來源。

 

  4.2 大資料適合小決策而不適合大決策

 

  大資料適合在狹窄範圍內對具體事務決策而不適合於大範圍的決策。因為大資料的形成包含著先天的侷限性,很多影響重大決策的資訊恰恰是無法數字化的,例如國內外形勢、技術創新、隊伍士氣、重大事件(類似美國9.11 事件)都無法數字化,可數字化的現象只是小部分,以為靠資料決策就能更全面也是一種誤解。政府重大決策需要考慮各方面的平衡,區域性領域的大資料僅適合區域性領域的決策,不適合面向全域性的政府決策,精細化與全面性是不可得兼的。

 

  4.3 改進政府操作的大資料應用

 

  政府的大資料應用不能只關注決策應用,改進操作的大資料應用往往能夠獲得更好的效益。政府對公眾的服務主要使用的還是以小資料為中心的資料庫,但是融入現場服務資料的應用可以將服務提高到大資料的層次上並增加智慧化的應用。對政府基層工作人員的支援現場化、連機化,通過雲平臺與實時通訊能顯著提高一線人員的工作效率,是提高政府基層服務的智慧化的重要措施,以改進服務操作效率的智慧大資料應用會有更大的成效。

 

  五、 沒有人腦參與系統才能高效與智慧

 

  5.1 人腦使用資料模式的效率制約

 

  為人腦決策使用的大資料應用模式存在兩點不足:一是效率上不去,大資料分析結果一旦交付大資料應用就結束了,無法形成連續服務型業務,資訊的進一步應用是領導的事情,與大資料處理無關了,人腦決策的慢節奏抵消了大資料快處理的價值。

 

  其次是大資料資訊決策的效果的不確定性,決策質量與領導人的知識、思維方式、決策風格密切相關,決策效果又與執行團隊的能力相關,涉及的不確定因素太多。人腦使用資料的模式無法實現資料應用效果的確定性。

 

  5.2 電腦使用資料模式的效率優勢

 

  電腦使用資料的模式排除了人腦的參與,系統完全是由事先編寫的軟體直接處理資料,排除了人腦介入有兩點好處:一是執行速度快,資訊科技的速度優勢得以充分發揮;二是保證了結果的確定性,系統的行為是可預測的,這將有利於系統可成為可組合、可疊加的功能模組,能夠被整合為更復雜的系統。

 

  5.3 智慧大資料應用可形成連續性業務

 

  排除人腦參與的資料應用模式是資訊科技的自動化應用,這種模式可綜合使用各種技術資源(包括雲平臺、物聯網、移動終端、人工智慧等等)建立高速、流暢連續型服務,進入智慧服務的新階段,常見的網際網路搜尋、電子商務、移動支付、摩拜單車、螞蟻金服無一不是這類的智慧大資料應用,這種持續的智慧大資料服務更受公眾歡迎、社會影響力也更大。

 

  六、 智慧大資料應用的發展空間

在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴
 

  6.1 所有的智慧應用都是大資料應用

 

  大資料是機器與機器對話的語言,只有機器與機器的高速對話才能產生如此規模的大資料。物聯網、雲平臺、寬頻網、移動終端等設施要發揮作用都要依賴機器與機器的對話,隨著資訊科技的大發展,機器與機器的對話速度越來越快、範圍越來越廣、規模越來越大,系統也越來越智慧化,所有的智慧資料應用都屬於大資料的應用範圍。

 

  6.2 智慧化的作用是提高執行的效果

 

  雖然大資料可以用於改進決策,但智慧化的目標是提高執行的效果。計算機系統的作用是使規範性、可重複的工作做的更快。對於需要創造性的、非重複性的工作資訊科技是依然無能為力的,人們發現幾十年來計算機對於人腦決策能力的提高始終不大,智慧化應用機會還是集中在對規範業務的改進,規範業務是確定性的服務,遠比充滿不確定性的決策業務更能讓計算機發揮作用。

 

  6.3 操作型大資料應用的智慧化趨勢

 

  以提高執行效率為目標的大資料應用將向智慧化發展,以網際網路為基層的現代資訊科技的大發展已經為服務的智慧化創造力良好的條件,早期由於通訊與網路能力的限制只能在一臺裝置上儲存自動處理系統被稱為自動化處理階段,今天自動處理系統可以綜合應用網路通訊、雲平臺數據與軟體、物聯網感知資料與機器學習來實現更有效的自動管理,則被稱為智慧化服務階段,排除了人腦參與的大資料應用進入智慧化服務沒有任何障礙,大資料應用智慧化成為必然趨勢。

 

  七、 智慧大資料應用的活力

 

  7.1 鮮活的資料

 

  智慧化應用中的大資料資源與資訊決策中的資料資源的重大不同在於前者是動態形成的,其資料環境是不斷變化、不斷更新的,很多資料是在執行中自動生成的,資料資源與智慧系統共生,這種資料資源很難轉讓,資料與服務系統是統一的生命體不能單獨存在的,離開了系統的資料可以用來分析但失去了原來的意義,如同離開了人體的手再也沒有原來的功能了。

 

  7.2 實時的處理

 

  在智慧系統中的大資料應用是實時處理,面向資訊決策中的大資料應用是批處理。實時處理能夠確保及時性,這對於提高服務效率、保持業務的連續性很重要,現在強調“一號一窗一網”式的為民辦事離不開對資料的實時處理。而資訊決策類大資料應用則並不需要這種高效。

 

  7.3 持續高效的服務

 

  智慧化的大資料應用排除了人腦的干預,全部流程都是由電腦對電腦一氣呵成,這樣就能夠達到很高的執行效率,而這是智慧化系統巨大的優勢,也是智慧服務系統得以生存的原因,不論是搜尋、購物還是其它自動化的服務,人的耐心都是很有限的,處理慢一點人們就會棄之而去。在資訊決策大資料應用的結果是供人腦一次性使用的,處理速度就不那麼重要了。

 

  7.4 不斷積累的智慧

 

  能夠不斷積累智慧的業務更有活力,易於修改是以軟體為基礎的業務的極大優點,這使得軟體系統成為積累智慧最方便的工具,資訊系統的高速發展也得益於系統智慧積累的能力。一項可持續的智慧化業務系統始終處於不停的改進、完善與擴充套件之中,不斷推出新版本的過程是智慧積累的過程,智慧的不斷積累增添了系統的服務能力與可持續性。

 

  資訊決策大資料應用則不具有這一優勢,其業務不連續很難推出一個又一個的新版本,智慧積累效率就慢多了。

 

  八、 小資料服務決定大資料中心的生存

 

  8.1 資料資源的時效性

 

  資料資源像蔬菜一樣有保鮮期,極少有越老越值錢的資料。資料集中儲存很容易,由此而來的資料質量維護卻是一大難題。資料生成得快貶值也快,很多資料往往還來不及處理資料就失效了,反而是那些變化稍慢、穩定期稍長的資料容易得到較多使用者且服務也容易開展,這類資料大部分是小資料。

 

  不同的資料使用方式對資料質量有不同的要求,面向操作的應用則對資料質量非常敏感,例如證照庫若不能及時更新就無法使用。資訊決策類應用對資料的敏感性會差一些,大資料中心應當使資料的時效性與應用需求同步,要根據需求的價值有重點有選擇地組織好資料質量的維護。

 

  8.2 大資料交易中心的困難

 

  大資料交易中心與成為建設熱點,在大資料應用剛剛開始,人們還沒搞清大資料交易是什麼概念時就建交易中心實在太早了。

 

  實時服務的智慧大資料應用的資料是鮮活的、是服務中自動生成的動態資料,要交易的是動態資料流還是擷取的靜態資料,動態的大資料交易很難,不僅談判難處理也難,使用者需要建立動態資料的實時處理系統。

 

  靜態的大資料交易更可行一些,但資料資源與應用需求並不容易匹配,這將會限制交易數的增長,另一困難是隱私權保護問題,資料需要脫敏,未脫敏的資料交易會受到限制,交易中心將長期面對交易稀缺的局面,經營很不容易。

 

  8.3 小資料服務需要補課

 

  發達國家是在小資料充分應用之後才開始應用大資料,國內是在小資料應用還很不足時跨越式應用大資料。小資料應用補課是各地大資料中心必須重視的問題。要看到越是簡單的東西應用面越廣,小資料的應用空間比大資料大得多,尤其是整合後的小資料服務,極可能成為的資料中心最火的業務。

 

  政府服務的精細化依賴的主要是小資料,把小資料的整合服務做好,大資料中心的工作即完成了90%,千萬不能輕視小資料服務,大資料中心的立身之本恰恰是小資料整合服務。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴
 

  8.4 大資料中心的經濟價值

 

  大資料中心的生存本質上是一個經濟問題,人們想做交易中心也是希望能夠在經濟上更節約、更有效益,但是效益的基礎是應用規模,只有大量重複性、相似性的工作才有可能利用平臺與工具來提高服務效率創造使用者價值,目前小資料服務更能夠滿足規模經營的條件。

 

  政府公共服務的支柱還是小資料,單獨成規模的大資料服務不多,各種資料資源的綜合使用會有更大的創新機會,地理資料與政府服務相結合、推動政府服務的連線化動態化可能提升使用者價值,大資料中心要發展必須全力創造使用者價值,唯有使用者價值才能支撐大資料中心生存。

 

  九、 拓展視野,推動大資料應用創新

 

  9.1理念創新,積極宣傳智慧大資料應用

 

  首先要拓展大資料應用理念,不能將大資料應用侷限在政府資訊決策的狹窄領域之中,而要看到智慧大資料應用的廣泛空間,將智慧大資料應用與大眾創業萬眾創新結合起來,將一切智慧化應用都歸入大資料應用的範圍,大資料概念越廣闊應用越繁榮。

 

  利用大資料改善政府決策是大資料應用的重要方面,過去已強調得很多了,現在需要強調的是政府公共服務的智慧化、精細化。大資料不僅能改善決策還能改善服務,改善服務有著更廣闊的發展空間,公眾的獲得感更好。

 

  9.2 為大資料應用創造良好的基礎環境

 

  對大資料應用最給力的推動是提供優良的通訊環境和完善的資訊基礎設施。大資料應用的基礎是超強的通訊能力,通訊能力影響全社會大資料應用的成本,包括使用者的時間成本與服務商的開發與服務成本,降低通訊成本是對大資料應用創新極大的支援,土壤肥沃莊稼才能茂盛。

 

  政府資料開放是推動大資料應用的措施之一,可為大資料應用帶來示範效果,政府要鼓勵企業利用政府大資料開展增值服務,使更多缺乏大資料處理能力的公眾也能從政府資料開放中獲益。

 

  9.3 鼓勵社會大資料應用的自組織創新

 

  大資料應用是一項創新,政府不能只從政府決策的視角來引導大資料應用方向,而要從方便公眾受益的視角推動智慧化的大資料應用,要鼓勵社會各界智慧化大資料應用的合作與自組織創新,好服務都是各種應用技術組合創新的結果,政府宜推動智慧城市大資料應用的互操作,降低不同技術合作創新的成本來促進應用創新的繁榮。