1. 程式人生 > >大資料系列3-第一章-大資料概論

大資料系列3-第一章-大資料概論

1.大資料概論

行動硬碟-tb級別

資料分析的場景:

金融行業-資訊密集;;股票市場預測;;小額貸款;;支付寶信用:給使用者打標籤,銀行貸款;;

網際網路需求更大(更多的是一個媒體):精準營銷,流量運營,通過流量做營收,流量變現,ctr預測,;;

電信-移動網際網路;;政府行業;;使用者服務-雲平臺

1)大資料技術框架

nosql指的是key-value的引擎(mygdb,hbase,單機(redis),,解決了擴充套件問題,但不能寫sql,事務支援的不好)

oracle,sqlserver,dbto不能

大資料事務支援的不好

newsql,ortp(oracla,mysql,分析能力較差,跑複雜的系統通常沒結果。),orap(analysis-)高擴充套件

mysql引擎的擴充套件性不好。

2.hadoop開源生態系統

儲存,監控,工作流管理

3.spark開源生態系統

計算,開源大資料裡面的python,提供底層kernel,

4.Nosql簡介

5.典型資料平臺架構

6.liunx常用命令

二、大資料