1. 程式人生 > >原 大資料入門學習,你要掌握這些技能

原 大資料入門學習,你要掌握這些技能

小編將此文獻給對資料有熱情,想長期從事此行業的年輕人,希望對你們有所啟發,並快速調整思路和方向,讓自己的職業生涯有更好的發展。

根據資料應用的不同階段,本文將從底層到最終應用討論這些資料人員的必要技能。

1、大資料平臺

目前,它非常流行,資料來源,各種酷的新技術,構建Hadoop,蜂巢,星火,Kylin,德魯伊,Copy~,如果你想了解Java,很多平臺都是用Java開發的。

目前,許多企業已經收集資料。對於傳統的業務資料,傳統的資料是完全足夠的。但是對於使用者行為和點選行為或者許多非結構化資料,如文字、影象和文字,由於資料量太大,許多公司不知道如何處理。儲存。

如何構建實時、近實時、離線的大資料框架,如何對資料流進行耦合和解耦,如何實現容災、平臺穩定性和可用性,是我們需要解決的問題。

我的感覺是:在過去的兩三年裡,這個人才仍然稀缺,因為大資料炒作的概念是如此的激烈,很多企業被愚弄的說,讓我們也開始進入大資料行業吧。進入的先決條件之一是儲存資料,特別是在使用者行為的許多方面。企業的進步是顯而易見的。如果你能很好地描述使用者,它將有助於你的產品設計、市場營銷和市場開發。在這個階段,許多公司不得不採取第一步:儲存更多的資料。這也是員工流動性相對較高的原因。

這項工作最重要的部分是蜂箱速度慢,SQL查詢速度慢,叢集再次掛起。在Hadoop版本升級之後,資料是如何執行的?

如果你想在這個領域做得好,你還需要有整個系統架構的設計能力,比較強的抗壓和解決問題的能力,資源收集能力,可以進入開源社群,這樣你才能跟上最新的發展趨勢和技術。吉斯隨時都可以。

2。資料視覺化

這是一項令人眼花繚亂的工作。最好了解前端的一些東西,比如JS。資料視覺化人員需要良好的分析思維,並且不能忽視對企業的幫助程度,以便展示他們的技能。因為我沒有很多訪問者來這篇文章,我沒有任何深刻的見解,但我認為這篇文章需要分析能力,以做好視覺化工作。

另一方面,從事資料應用的人應該理解資料視覺化。他們應該知道材料的順序是:圖片>表格>文字。一個可以用圖片描述的機會不應該用文字來描述,因為它更容易讓別人理解。你知道,當向大領導解釋事情時,你需要把大領導想象成一個“資料白痴”,這樣你才能更生動地說出一件事。大資料學習群142973723

三。資料分析員

對於資料分析師的定位:就個人而言,很難成為一個優秀的資料分析師,市場上也沒有很多優秀的分析師。除了資料分析、結論提取和洞察資料背後的原因之外,資料分析人員還需要了解業務和了解演算法。

只有這樣,當遇到業務問題時,資料分析人員才能夠逐步解決問題,然後根據問題的位置對策略做出響應,如第一策略測試或優化演算法的應用,使用其中sce納里奧,我們能用這個計算嗎?依法解決問題。

優秀的資料分析師是精通業務和演算法的萬能資料科學家,而不是隻聽從業務需求來拉資料、做報告和做分析的懶漢。我們都說分析應該得出結論。優秀分析師的結論是一整套能解決問題的策略和反應。同時,許多需求被分析師積極發現並通過資料探勘。

從上面的描述可以看出,對資料分析員的要求是:編寫SQL資料、精通業務、洞察資料、精通演算法、主動性強、要求高。

4、資料探勘/演算法

對於這個職位的技能要求,你不需要從頭開始執行所有的演算法。有許多現有的演算法包要呼叫。基本要求是知道每個場景使用哪種演算法,比如分類場景,常用的分類演算法是LR/RF/Xgboost/ET等。當模型無效時,IMIZE。它還需要實現演算法的能力,Scala/Python/R/爪哇可以在語言中使用。我們常說:“工具不重要。重要的是你玩的是工具而不是工具。”

另外,對於監督學習演算法,演算法工程師最好有良好的商業意識,這樣在特徵設計時,可以更具有針對性,只有當特徵設計時,才能有良好的先驗性。

這麼多人說了又談。事實上,核心是如何用資料創造價值。如果你沒有能力用資料創造價值,你只能等待被資料淹沒,被工作場所的資料扼殺,及早達到事業的頂峰。