1. 程式人生 > >學習大數據要什麽基礎?0基礎的學習路線和方向

學習大數據要什麽基礎?0基礎的學習路線和方向

分布式計算 yarn 0基礎 發現 數據庫 平臺開發 負責 範圍 重要

現在大數據這麽火,各行各業想轉行大數據,那麽問題來了,該往哪方面發展,哪方面最適合自己?首先從字面來了解一下大數據 大數據 (巨量數據集合(IT行業術語)) 大數據(big data),指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。數據的5V特點(IBM提出):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)。

大數據世界有三大學習方向:數據開發師、數據運維師、數據架構師。

圍繞大數據系平臺系統級的研發人員, 熟練Hadoop、Spark、Storm等主流大數據平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對數據的計算,並能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態系統的組件如: Yarn,HBase、Hive、Pig等重要組件,能夠實現對平臺監控、輔助運維系統的開發。

通過學習一系列面向開發者的Hadoop、Spark等大數據平臺開發技術,掌握設計開發大數據系統或平臺的工具和技能,能夠從事分布式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作,如性能改進、功能擴展、故障分析等。

什麽是大數據運維師?

了解Hadoop、Spark、Storm等主流大數據平臺的核心框架,熟悉Hadoop的核心組件:HDFS、MapReduce、Yarn;具備大數據集群環境的資源配置,如網絡要求、硬件配置、系統搭建。熟悉各種大數據平臺的部署方式,集群搭建,故障診斷、日常維護、性能優化,同時負責平臺上的數據采集、數據清洗、數據存儲,數據維護及優化。熟練使用Flume、Sqoop等工具將外部數據加載進入大數據平臺,通過管理工具分配集群資源實現多用戶協同使用集群資源。通過靈活、易擴展的Hadoop平臺轉變了傳統的數據庫和數據倉庫系統架構,從Hadoop部署實施到運行全程的狀態監控,保證大數據業務應用的安全性、快速響應及擴展能力!

什麽是大數據架構師?

圍繞大數據系平臺系統級的研發人員, 熟練Hadoop、Spark、Storm等主流大數據平臺的核心框架。深入掌握如何編寫MapReduce的作業及作業流的管理完成對數據的計算,並能夠使用Hadoop提供的通用算法, 熟練掌握Hadoop整個生態系統的組件如: Yarn,HBase、Hive、Pig等重要組件,能夠實現對平臺監控、輔助運維系統的開發。

通過學習一系列面向開發者的Hadoop、Spark等大數據平臺開發技術,掌握設計開發大數據系統或平臺的工具和技能,能夠從事分布式計算框架如Hadoop、Spark群集環境的部署、開發和管理工作,如性能改進、功能擴展、故障分析等。

學習大數據以後,那麽就業方向怎麽樣呢?

總的來說:三大方向,十大職位。

大數據主要的三大就業方向:大數據系統研發類人才、大數據應用開發類人才和大數據分析類人才。

十大職位:1、ETL研發;2、Hadoop開發;3、可視化(前端展現)工具開發;4、信息架構開發;5、數據倉庫研究;6、OLAP開發;7、數據科學研究;8、數據預測(數據挖掘)分析;9、企業數據管理;10、數據安全研究。

學習大數據要什麽基礎?0基礎的學習路線和方向