1. 程式人生 > >大數據基本概念

大數據基本概念

既然 運維 str pro dcb ogl news 知識點 http

大數據概念想必大家都不陌生,畢竟是近年來最熱門的話題之一。在計算機以及互聯網如此普及的今天,我們所有人每天都會在互聯網上產生大量的數據,例如在淘寶瀏覽商品時會產生數據,使用社交app進行即時通訊時也會產生數據,每天股市的上漲下跌及交易量也是數據......如此可見,每天互聯網上產生的數據是有多龐大,數據可謂是無處不在:

技術分享圖片

但是數據量大,只是大數據概念的特征之一,大數據有4個特征簡稱4V特征:
技術分享圖片

在2001年,高德納分析員道格·萊尼在一份與其2001年的研究相關的演講中指出,數據增長有三個方向的挑戰和機遇:量(Volume),即數據多少;速(Velocity),即資料輸入、輸出的速度;類(Variety),即多樣性。

在萊尼的理論基礎上,IBM提出大數據的4V特征,得到了業界的廣泛認可。第一,數量(Volume),即數據巨大,從TB級別躍升到PB級別;第二,多樣性(Variety),即數據類型繁多,不僅包括傳統的格式化數據,還包括來自互聯網的網絡日誌、視頻、圖片、地理位置信息等;第三,速度(Velocity),即處理速度快,如果處理不夠高速則無法應用在實時更新數據的場景上;第四,價值(Value),即追求高質量的、有價值的數據。

大數據4V特征:

  • Volume 大量,既然叫大數據,那麽數據量肯定得大
  • Variety多樣性,數據可以多種結構,可以是結構性數據、半結構性數據以及非結構性數據
  • Value價值,這些大量的數據需要能夠被挖掘出有價值的數據,因為無價值的數據只是一堆占用存儲空間的垃圾
  • Velocity高速,數據的處理速度要快,時效性強,因為很多場景下要實時更新、檢測數據

想要詳細了解大數據的4V特征可以參考以下文章:

http://www.mahaixiang.cn/sjfx/803.html
https://www.jianshu.com/p/b3281082edb3
https://www.leiphone.com/news/201410/NgTsZw3yDjEbk9on.html


大數據要解決的問題

大數據是要用來從中挖掘有價值的數據的,如果數據不能給企業帶來價值,不能給用戶帶來更好的體驗,那麽這些數據就是無用的。而從數據中挖掘價值就是大數據要解決的問題,這就好像淘金、挖礦一樣,我們利用大數據技術從海量數據中挖掘有用的數據,剔除無用的數據:

技術分享圖片


大數據帶來的挑戰

大數據涉及到的技術:

1.數據采集:
我們需要將分散的數據都采集起來,集中在一起,才能夠進行數據的分析

2.數據存儲:
將大量的數據采集起來後,存儲就是個問題,需要存儲空間足夠大

3.數據處理/分析/挖掘:
存儲的問題解決後,才開始對這些數據進行處理,分析、挖掘有價值的數據出來

4.可視化:
最後就是將這些挖掘出來的數據進行可視化、圖形化後呈現給別人看,總不可能讓你領導來看一堆數字或字符串吧

大數據在技術架構上帶來的挑戰:

1.對現有數據庫管理技術的挑戰:
海量的數據想要存儲到傳統的關系型數據庫是不太現實的,雖然數據庫可以進行集群,但是基本上也不能處理TB級以上的數據分析的,所以現階段無法使用結構化的查詢及處理去解決這些問題

2.傳統數據庫技術並沒有考慮數據的多類別:
關系型數據庫的結構都是庫 >> 表 >> 字段的關系結構,而大數據具有數據多樣化的特征,所以不好存儲

3.實時性的技術挑戰:
數據所產生的價值會隨著時間的推移而降低,所以要讓數據實時展現是個問題

4.網絡架構、數據中心、運維的挑戰:
由於數據一直呈大幅增長的狀態,而數據又要實時地呈現,這對網絡傳輸上是一個挑戰。而且數據量大,肯定得多臺服務器進行存儲,這就給數據中心以及運維帶來一定的挑戰

大數據帶來的其他挑戰:

1.數據隱私:
這個不用說,海量數據裏肯定會包含一些用戶的隱私數據,我們得保障這些數據不外泄

2.數據源復雜多樣:
之前也提到過大數據的特征之一就是數據的多樣性,如何處理好多樣的數據是個問題


如何應對大數據帶來的挑戰

對於以上所說到的挑戰,Google已經有應對這些挑戰的技術了:

  • MapReduce 可以解決計算效率的問題
  • Big Table 可以解決讀寫速度的問題
  • GFS 可以解決存儲容量的問題

技術分享圖片

但是,Google只發表了這些技術的論文,並沒有開源這些技術,所以我們無法進行使用。不過,好在Apache基金會模仿著Google的大數據技術,開發出了Hadoop生態圈,Hadoop也是學習大數據技術必須要學的框架。

  • Hadoop裏也有MapReduce
  • Hbase對應著Big Table
  • HDFS對應著GFS

技術分享圖片


如何學好大數據

1.學習一個框架,最好的方式就是查看它的官方,因為官網上的文檔是最權威且最詳細的。

2.通過項目實戰對知識點進行鞏固和融會貫通

3.參加一些社區活動:Meetup、開源社區大會、線下沙龍等,與他人交流有助於提升眼界

4.切記:多動手、多練習、貴在堅持

5.最好將英文學好,因為很多好的技術論文以及文章都是英文的,而且官網的語言也是英文的

大數據基本概念