1. 程式人生 > >大資料分析的四步過程模型

大資料分析的四步過程模型

大資料這個詞近些年非常火,其實在很多年前大家就開始利用大資料的一些方法和過程了。

 

耳熟能詳的“決策支援系統”,“應急預案系統”,“輿情監測系統”等等,早在2005年前後就如雨後春筍般冒出來了。

 

我還記得當年參與了一個“輿情監測系統”的建設。

因為當時各個軟體系統各自為政,所以甲方找了三四家一起來做這個系統。

其中包括了“基礎資訊採集”、“爬蟲”、“展現”等。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴

我當時參與的部分就是將分析處理的結果在地圖上進行展現,算是其中很小的一個模組。

 

最近聽了Coursera的一個關於Data Analystics的課程,其中將大資料分析的過程分成四個步驟。

 

 

而翻閱了一些相關的書籍和資料發現不論是《大資料分析》的6步過程模型,還是其他文章提到的5個階段,歸納起來都是這四個步驟。

因為Coursera上介紹的這四個步驟更加清晰,所以今天和大家分享的也是四個步驟的版本。

 

1

發現

從應用目標出發,確定所需的資料。

這裡麵包括定義問題,找出干係人的期望和顧慮;提出假設“可能會發生什麼事情?”;收集資料並進行一些處理和分析。

 

問題的定義非常重要。

我們都知道,如果方向錯了,那麼做得再多不僅會事倍功半,甚至會產生負面的效果。

 

一家公司一直在委派一些專業機構進行招聘、績效評估等方面的工作。

但是一直合作的專業機構的熟悉環境的介面人員崗位變動了,新來的人員對這個公司的很多東西不熟悉,造成了最近幾個月的招聘工作進展不順利。

有人會覺得這個問題就是提供人力資源服務的公司的問題。

但是這個是真正的問題嗎?

會不會是公司一直沒有能夠開發自己的人力資源管理能力,這才是真正的問題呢?

 

以前在做決策支援相關功能和系統的時候,發現很多時候使用者描述的問題都是表象。

大部分會集中在溝通效率低,工作效率低,成本不斷上升。

 

但是根本的問題到底在哪裡?

這是需要我們去進行挖掘的,不能簡單的把使用者給你的資訊當做金科玉律。

因為很多時候使用者也不知道根本的問題是什麼。

立場不同,角度不同,對問題的描述都會不同。

 

2

分析

對資料進行處理和建模,看看這些資料如何來支撐之前的假設。

我們經常聽說的自我學習體系,也是在這個過程中建立的。

 

在《大資料分析》以及其他一些書籍中,對於這個部分會講述的比較詳細。

包括演算法、建模、模型優化和分析等等。

 

3

解釋

根據上一步的分析結果對過去進行解釋,並對未來進行預測。

將分析結果與一些財務、運營指標進行關聯,用以支撐決策。

對於下一步的行動給出建議和評價。

在這裡我還是要推薦下我自己建的大資料學習交流qq裙: 957205962, 裙 裡都是學大資料開發的,如果你正在學習大資料 ,小編歡迎你加入,大家都是軟體開發黨,不定期分享乾貨(只有大資料開發相關的),包括我自己整理的一份2018最新的大資料進階資料和高階開發教程,歡迎進階中和進想深入大資料的小夥伴

這個步驟其實挺有意思的。

要知道同一份資料,可以根據不同的目的有不同的解釋。

桌子上放了半杯水,你可以說,只剩下半杯就沒有了。

你也可以說,看,桌子上還有半杯水呢!

 

資料是死的,就看你怎麼看,怎麼用了。

所以說,不管是大資料還是小資料,對於決策都是輔助的。

真正做解釋和決策的其實還是人。

 

4

輸出

根據解釋和建議,制定詳細的步驟或者路線圖,並且提交給相關關係人。

對照業務目標,跟蹤實施的效果。

 

 

以上介紹了關於大資料分析的四個步驟,不知道作為大資料產品經理的小夥伴有什麼相關資訊可以分享下~