1. 程式人生 > >學習大數據技術,需要具備哪些【數學知識】?你了解了嗎?

學習大數據技術,需要具備哪些【數學知識】?你了解了嗎?

元素 興趣 代數 方法 多應用 抽象 對象 求解 矩陣

談起大數據技術,很多人都覺得是高大上的一門技術,學起來應該是困難重重!其實對於大數據技術而言,難的不是大數據技術本身,而是需要太多的基礎知識,比如說:數學知識、英語能力、編程基礎等等。

數學,我們從小就開始學習,一直在跟各種數據打交道,各種公式等等,是大數據學習的必備技術之一。

英語,對於大數據技術文章,比較先進的還是外文比較多,需要一定的英語基礎,當然了翻譯軟件是個好東西,但必要的英語能力也是必須的。

編程,這個就不用我多說了吧,計算機語言,你學不會,該如何向電腦發布指令!

好了,回歸我們今天的重點,先說說對於大數據技術,需要的數學知識有哪些?!

如果你對大數據開發技術感興趣,打算系統學習這方面的技術的話,歡迎加入大數據學習qq群:458345782,有大量幹貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大數據講師給大家免費授課,給大家分享目前國內最完整的大數據高端實戰實用學習流程體系。

技術分享圖片
1、概率論與數理統計

這部分與大數據技術開發的關系非常密切,條件概率、獨立性等基本概念、隨機變量及其分布、多維隨機變量及其分布、方差分析及回歸分析、隨機過程(特別是Markov)、參數估計、Bayes理論等在大數據建模、挖掘中就很重要。

大數據具有天然的高維特征,在高維空間中進行數據模型的設計分析就需要一定的多維隨機變量及其分布方面的基礎。Bayes定理更是分類器構建的基礎之一。除了這些這些基礎知識外,條件隨機場CRF、隱Markov模型、n-gram等在大數據分析中可用於對詞匯、文本的分析,可以用於構建預測分類模型。

當然以概率論為基礎的信息論在大數據分析中也有一定作用,比如信息增益、互信息等用於特征分析的方法都是信息論裏面的概念。

2、線性代數

這部分的數學知識與大數據技術開發的關系也很密切,矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特征值與特征向量等在大數據建模、分析中也是常用的技術手段。

在互聯網大數據中,許多應用場景的分析對象都可以抽象成為矩陣表示,大量Web頁面及其關系、微博用戶及其關系、文本集中文本與詞匯的關系等等都可以用矩陣表示。
技術分享圖片

3、最優化方法

模型學習訓練是很多分析挖掘模型用於求解參數的途徑,基本問題是:給定一個函數f:A→R,尋找一個元素a0∈A,使得對於所有A中的a,f(a0)≤f(a)(最小化);或者f(a0)≥f(a)(最大化)。

優化方法取決於函數的形式,從目前看,最優化方法通常是基於微分、導數的方法,例如梯度下降、爬山法、最小二乘法、共軛分布法等。

4、離散數學

離散數學的重要性就不言而喻了,它是所有計算機科學分支的基礎,自然也是大數據技術的重要基礎。

好了,終於總結完了,漫漫長路,繼續學習吧!

另外,如果你對大數據開發技術感興趣,打算系統學習這方面的技術的話,歡迎加入大數據學習qq群:458345782,有大量幹貨(零基礎以及進階的經典實戰)分享給大家,並且有清華大學畢業的資深大數據講師給大家免費授課,給大家分享目前國內最完整的大數據高端實戰實用學習流程體系。

學習大數據技術,需要具備哪些【數學知識】?你了解了嗎?