1. 程式人生 > >大資料處理過程,業務性資料庫與分析性資料庫比較

大資料處理過程,業務性資料庫與分析性資料庫比較

一丶 一般情況下,資料探勘經過如下階段

1,資料記錄到資料來源中,如(文字檔案,傳統的業務資料系統,和其他各種資料來源)

2.這些資料經過ETL(extract,transform,load)過程儲存到資料倉庫中,如hive(這些資料倉庫並不儲存資料,只是在檔案系統上的儲存倉庫引擎,資料儲存到檔案系統中,如hdfs)

3,在這些資料倉庫上進行隨機查詢等,結果存入如hbase等,hbase是類似於非關係型資料庫

4.利用這些資料進行分析等,屬於資料應用(前端展示)

二。OLAP(Online Analytical Processing)與OLTP(On-Line Transaction Processing

)

聯機分析處理與聯機事務處理

1.OLAP重點用於資料分析,所以幾乎只用查詢操作,但是聯機事務處理則增刪改查都有,事務處理,複雜的查詢等

2.OLAP如hive,OLAP常用於資料分析,人工智慧等 領域,,OLTP如mysql,oracle,常見的關係型資料庫。

3.OLAP大多是資料倉庫引擎,例如hive,它可以將sql轉化為mapreduce作業,處理速度很快,實時響應

4.試用場景,OLAP用於經常頻繁性的操作,OLTP的基本特徵是前臺接收的使用者資料可以立即傳送到計算中心進行處理,並在很短的時間內給出處理結果,是對使用者操作快速響應的方式之一