1. 程式人生 > >從事多年大數據,給大家分享幾個學習方法

從事多年大數據,給大家分享幾個學習方法

大數據 大數據學習 大數據開發 編程語言

曾從事軟件開發和培訓9年。參與多個大型項目開發,涉及c++,Java,Python,大數據,數據科學,人工智能等多個領域。熟悉多個領域中軟件開發流程及軟件架構。曾在大型IT公司任程序員,項目經理,高級講師,教學負責人。現在是一名線上培訓機構的講師,看到這麽多網友很是迷茫,分享些學習經驗給大家。好了,話不多說

技術分享圖片

一、學會愛數據
沒有人談論在學習動機。 數據科學是一個廣泛而模糊的領域,這使得它很難學習。 沒有動力,你最終會中途停止對自己失去信心。

大數據學習群:199427210

你需要些東西來激勵你不斷學習,即使是在半夜公式已經開始變的模糊,你還是想探究關於神經網絡的意義。你需要些動力來讓你發現統計、線性代數和神經網絡之間的聯系,當你在困惑“下一步我該學習什麽?”的時候。

我學習的入口是用數據來預測股市,盡管當時我完全不熟悉。我編碼的第一批項目用於預測股票幾乎沒有統計,但是我知道它們表現的並不好,所以我日以繼夜的工作讓它們變的更好。

我癡迷於改善程序的性能,我癡迷於股票市場,我學習去愛數據。我去學習一切能讓這個項目結果更好的技能。
並不是每個人都會癡迷於股市預測,但重要的是要發現你想學習的東西

二、在實踐中學習

學習神經網絡、圖像識別和其他尖端技術是很重要的,但大多數數據科學工作不涉及這些:

90%的工作將是數據清理。

精通幾個算法比知道一點許多算法要好。

如果你知道線性回歸、k - means聚類和邏輯回歸,可以解釋和詮釋他們的研究結果,並可以用這些完成一個項目,你將比如果你知道每一個演算法,但不使用它們更優秀。

大多數時候,當你使用一種算法,它將是庫中的一個版本(你很少會自己編碼支持向量機實現——這需要太長時間)。

所有這些意味著最好的學習方法是在項目工作中學習,通過項目,你可以獲得有用的技能。

一種方法是在一個項目中先找到一個你喜歡的數據集,回答一個有趣的問題。

另一種方法是找到一個深層次的問題,例如預測股票市場,然後分解成小步驟。 我第一次連接到雅虎財經的API,並爬下每日價格數據。然後我創建了一些指標,比如在過去的幾天裏的平均價格,並用它們來預測未來(這裏沒有真正的算法,只是技術分析)。這個效果不太好,所以我學會了一些統計知識,然後用線性回歸。 然後連接到另一個API,清理每一分鐘的數據,並存儲在一個SQL數據庫。 等等,直到算法效果很好。

這樣做的好處是我在一個學習環境中學習。我不僅僅學習了SQL語法,用它來儲存價格數據,還比僅僅學習語法多學習了十倍的東西。學習而不應用的知識很難被保留,當你做實際的工作的時候也不會準備好

三、學會溝通

數據科學家需要不斷展示他們的分析結果。這個過程可以區別數據科學家的水平。

交流的一部分是對主題的理解和理論, 另一個是理解如何組織你的結果。最後一部分是能夠清楚地解釋您的分析。

我很難找到關於有效溝通的概念,但有些事情你該嘗試一下:

開始寫博客。 展示你的數據分析的結果。

試著教那些對數據科學技術知識並沒有什麽概念的人,比如你的朋友和家人這可以可以幫助您理解概念。

試著在聚會上演講。

使用github管理你所有的分析。

在一些社區中活躍,比如Quora , DataTau , machine learningsubreddit。

四、向同行學習

你根本想不到你會從同行身上學到多少東西,在數據工作中,團隊合作非常重要。

在聚會中找一些同伴。

開源軟件包。

給哪些寫有趣的數據分析博客發消息看有沒有合作的可能。

嘗試參加Kaggle 比賽看看可不可以找到隊友。

五、不斷增加學習的難度

你完全熟悉這個項目的工作了? 你最後一次使用一個新概念是在一周前? 那麽是時候做些更加困難的挑戰了。如果你停止攀登,那麽不進則退。

如果你發現自己太舒適,這裏有一些建議:

處理更大的數據集。 學習使用spark。

看看你能不能讓你的算法更快。

你將如何將算法擴展到多個處理器? 你能做到嗎?

理解更多的理論算法並使用。這會改變你的假設嗎?

試圖教一個新手去做你現在正在做同樣的事情。

上面這些這至少是一個思路告訴你在開始學習數據科學的時候到底要做什麽。如果你完成了這些,你將發現你的能力自然而然就提升了。

我學習大數據一開始也是學習java基礎開始的!
首先一開始,我先講講學習的核心準則:
1.不到萬不得已,不要看視頻!!!
敲一遍代碼比看一遍視頻好一百倍。
效率高:在有限的時間內做盡量多的事情
步驟:
1.首先向看白天課上的代碼。做到能看懂每一行代碼的作用。(現在網上課堂有很多,建議大家去聽聽)
(1).看的懂
繼續下一步
(2).看不懂
時間在5到15分鐘超過十五分鐘就不要自己想了,可以自己看從頭再看一遍想一遍。
2.自己獨立的敲每天課上的練習。做到能什麽都不看獨立的敲出來。但是,大部分同學第一次
敲的時候基本都是不能獨立敲出來的。會有很多的小問題。。

大數據學習群:199427210

從事多年大數據,給大家分享幾個學習方法