1. 程式人生 > >學好大資料請看這裡

學好大資料請看這裡

大資料技術,就是從各種型別的資料中快速獲得有價值資訊的技術。大資料領域已經湧現出了大量新的技術,它們成為大資料採集、儲存、處理和展現的有力武器。

一、大資料接入

1、大資料接入

已有資料接入、實時資料接入、檔案資料接入、訊息記錄資料接入、文字資料接入、圖片資料接入、視屏資料接入

2、大資料接入技術

Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp

二、大資料儲存

1、大資料儲存

結構化資料儲存、半結構化資料儲存、非結構化資料儲存

2、大資料儲存技術

Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch

三、資料分析挖掘

1、大資料分析與挖掘

離線分析、準實時分析、實時分析、圖片識別、語音識別、機器學習

2、大資料分析與挖掘技術

MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib

四、大資料共享交換

1、大資料共享交換

資料接入、資料清洗、轉換、脫敏、脫密、資料資產管理、資料匯出

2、大資料共享交換技術

Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service

五、大資料展現

1、大資料展現

圖化展示(散點圖、折線圖、柱狀圖、地圖、餅圖、雷達圖、K線圖、箱線圖、熱力圖、關係圖、矩形樹圖、平行座標、桑基圖、漏斗圖、儀表盤),文字展示;

2、大資料展現技術

Echarts、Tableau

國家規劃大資料產業發展戰略,各行各業需要大資料技術支撐指數級的資料增量服務,越來越多的企業逐漸轉型於大資料,大資料方面市場需求呈爆發式增長。為了應對大資料人才的缺乏,加米穀大資料培訓中心制定了全流程的大資料課程,主要包括Linux、java、CentOS、mysql、HDFS、Hadoop、Hbase、Hive、Kafka、Spark、Storm等。除了在理論方面深入講解外,還有對應程式碼實戰,全流程學完之後會有實戰大資料專案,整體把控學習效果,教學目的旨在提高學員實戰能力, 真實提升自身大資料能力。大資料學習群142973723