大資料-基於Spark的機器學習-智慧客戶系統專案實戰
第1節專案介紹以及在本課程中能學到什麼東西、如何應用到實際專案中 [免費觀看] 00:09:43分鐘 |
第2節scala和IDE的安裝以及使用以及maven外掛的安裝 [免費觀看] 00:07:04分鐘 |
第3節Centos環境準備（java環境、hosts配置、防火牆關閉） [免費觀看] 00:06:24分鐘 |
第4節scala基礎知識講解-1 [免費觀看] 00:08:51分鐘 |
第5節scala基礎知識講解-函式和閉包-2 [免費觀看] 00:30:07分鐘 |
第6節scala基礎知識講解-陣列和集合-3.1 [免費觀看] 00:48:33分鐘 |
第7節scala基礎知識講解-陣列和集合-3.2 [免費觀看] 00:14:16分鐘 |
第8節scala基礎知識講解-類和物件-400:23:06分鐘 |
第9節scala基礎知識講解-特徵和模式匹配-500:13:46分鐘 |
第10節scala基礎知識講解-正則表示式和異常處理-600:12:41分鐘 |
第11節scala基礎知識講解-知識回顧00:15:58分鐘 |
第12節nosql資料庫mongodb安裝00:04:57分鐘 |
第13節spring data for mongodb-簡單連線mongodb00:07:52分鐘 |
第14節spring data for mongodb-spring配置+CRUD操作(不實現repo，預設操作)00:36:20分鐘 |
第15節spring data for mongodb-實現repo介面+mongoTemplate+CRUD操作00:36:17分鐘 |
第16節spring data for mongodb-分頁查詢00:13:32分鐘 |
第17節zookeeper叢集安裝00:13:41分鐘 |
第18節zookeeper基本介紹-100:22:36分鐘 |
第19節zookeeper工作原理-選舉流程（basic paxos演算法）-200:24:27分鐘 |
第20節zookeeper工作原理-選舉流程（fast paxos演算法）-300:31:16分鐘 |
第21節kafka-背景及架構介紹00:12:28分鐘 |
第22節kafka叢集安裝以及測試00:14:29分鐘 |
第23節kafka資料傳送與接收實現-java00:31:28分鐘 |
第24節hdfs單機安裝部署00:18:51分鐘 |
第25節連線hdfs查詢儲存-java00:35:45分鐘 |
第26節機器學習基本線性代數介紹00:05:08分鐘 |
第27節IKAnalyzer中文分詞工具介紹00:17:54分鐘 |
第28節IKAnalyzer中文分詞工具結合java應用00:16:29分鐘 |
第29節Spark以及生態圈介紹00:11:45分鐘 |
第30節Spark執行架構介紹及原理之job，stage，task00:26:19分鐘 |
第31節Spark程式設計模型RDD設計以及執行原理00:15:48分鐘 |
第32節純手寫第一個Spark應用程式：WordCount00:23:57分鐘 |
第33節RDD常用函式介紹00:29:22分鐘 |
第34節Spark Sql介紹、DataFrame建立以及使用、RDD DataFrame DataSet相互轉化00:12:54分鐘 |
第35節Spark Streaming介紹00:12:56分鐘 |
第36節Spark Streaming+Kafka整合操作00:18:44分鐘 |
第37節avro結合maven使用,實現序列化和反序列化00:21:07分鐘 |
第38節Spark ML（機器學習）介紹（監督學習、半監督學習、無監督學習） [免費觀看] 00:13:59分鐘 |
第39節特徵抽取：TF-IDF原理介紹 [免費觀看] 00:17:49分鐘 |
第40節特徵提取：TF-IDF程式碼實現計算 [免費觀看] 00:26:37分鐘 |
第41節聚類演算法：KMEANS原理介紹00:20:55分鐘 |
第42節聚類演算法：KMEANS程式碼實現計算00:20:03分鐘 |
第43節其它Spark ML演算法簡單介紹00:03:48分鐘 |
第44節Spark連線Mongodb程式碼實現00:13:08分鐘 |
第45節Mesos總體架構介紹00:08:25分鐘 |
第46節Mesos安裝部署00:12:04分鐘 |
第47節Spark on Mesos安裝部署00:11:12分鐘 |
第48節系統整體架構再次介紹+技術串聯介紹（將學習的技術全部整合到專案中）00:03:57分鐘 |
第49節專案程式碼：父類工程，管理各個jar的版本00:03:47分鐘 |
第50節專案程式碼：avro序列化jar，用於客戶端和機器學學習實現序列化和反序列化00:04:46分鐘 |
第51節專案程式碼：kafka傳送資料jar，給app呼叫並實現切詞併發送資料到kafka00:06:23分鐘 |
第52節專案程式碼：工具類jar，實現操作hdfs、切詞以及操作mongodb00:03:28分鐘 |
第53節專案程式碼：操作類jar，呼叫工具類具體進行切詞以及資料清洗並且儲存到Hdfs00:05:34分鐘 |
第54節專案程式碼：機器學習集合jar，主要用來存放record00:02:56分鐘 |
第55節專案程式碼：機器學習演算法jar，主要進行tf-idf以及kmeans計算，主要實現企業上下游、供求上下游模型計算00:07:11分鐘 |
第56節專案程式碼：流式計算jar，主要是接受客戶端傳送到kafka的資料載入模型進行計算00:04:35分鐘 |
第57節專案程式碼：測試模擬jar，主要模擬實現使用者載入avro序列化jar寫資料到kafka00:01:51分鐘 |
第58節Spark on Mesos部署提交引數介紹00:08:17分鐘 |
第59節Spark程式碼提交到Mesos執行（Spark-submit）00:07:13分鐘 |
第60節專案整體流程跑通，結果展示00:06:54分鐘 |
第61節Spark調優介紹00:08:01分鐘 |
第62節基於Spark的機器學習專案-智慧客戶系統實戰課程總結00:04:12分鐘 |
第63節實際工作及面試注意問題00:03:45分鐘 |
相關推薦
大資料-基於Spark的機器學習-智慧客戶系統專案實戰
課程大綱第1節專案介紹以及在本課程中能學到什麼東西、如何應用到實際專案中 [免費觀看] 00:09:43分鐘 | 第2節scala和IDE的安裝以及使用以及maven外掛的安裝 [免費觀看] 00:07:04分鐘 | 第3節Centos環境準備（java環境、host
基於Spark機器學習和實時流計算的智慧推薦系統
原文連結：http://blog.csdn.net/qq1010885678/article/details/46675501 概要： 隨著電子商務的高速發展和普及應用，個性化推薦的推薦系統已成為一個重要研究領域。 個性化推薦演算法是推薦系統中最核心的技術，在很大程
如何在未來的大資料和AI機器學習領域，獲得一份不錯的工作？
AI 的發展腳步會加快，這一年將是 AI 技術重生和資料科學得以重新定義的一年。對於雄心勃勃的資料科學家來說，他們如何在與資料科學相關的工作市場中脫穎而出？2018 年會有足夠多的資料科學相關工作嗎？還是說有可能出現萎縮？接下來，讓我們來分析一下資料科學的趨勢，並一探如何在未來的大資料和機器學習 /
大資料中，機器學習和資料探勘的聯絡與區別
資料探勘是從海量資料中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程。 資料探勘中用到了大量的機器學習界提供的資料分析技術和資料庫界提供的資料管理技術。 從資料分析的角度來看，資料探勘
大資料分析：機器學習演算法實現的演化
我將會對機器學習演算法的不同的實現正規化進行講解，既有來自文獻中的，也有來自開源社群裡的。首先，這裡列出了目前可用的三代機器學習工具。 傳統的機器學習和資料分析的工具，包括SAS，IBM的SPSS，Weka以及R語言。它們可以在小資料集上進行深度分析——工具所執行的節點的記憶體可以容納得
BI大資料視覺化分析商業智慧軟體系統開發
BI即商業智慧。商業智慧的概念早在1996年就提出了。當時的商業智慧的定義是：由資料倉庫（或資料集市）、查詢報表、資料分析、資料探勘、資料備份和恢復等部分組成的、以幫助企業決策為目的技術及其應用。而現在商業智慧通常是將企業中現有的資料轉分析轉化出為企業做出明智決策的工具。 1.BI大資料視覺化功
基於傳統機器學習的推薦系統
推薦演算法具有非常多的應用場景和商業價值，種類很多，但是目前使用最廣泛的是以下兩種： 1. 基於內容的推薦。通過NLP的一些技術，挖掘文字內容，進而做推薦。 2. 基於協同過濾演算法的推薦。 #協同過濾 協同過濾(Collaborative Filtering)，假設我們有m
掌握Spark機器學習庫 大資料開發技能更進一步
掌握Spark機器學習庫 大資料開發技能更進一步 第1章 初識機器學習 在本章中將帶領大家概要了解什麼是機器學習、機器學習在當前有哪些典型應用、機器學習的核心思想、常用的框架有哪些，該如何進行選型等相關問題。 1-1 導學 1-2 機器學習概述 1-
學習大資料課程 spark 基於記憶體的分散式計算框架（二）RDD 程式設計基礎使用
學習大資料課程 spark 基於記憶體的分散式計算框架（二）RDD 程式設計基礎使用 1.常用的轉換 假設rdd的元素是： {1,2,2,3} 很多初學者，對大資料的概念都是模糊不清的，大資料是什麼，能做什麼，學的時候，該按照什麼線路去學習，學完
大資料之Spark（七）--- Spark機器學習，樸素貝葉斯，酒水評估和分類案例學習，垃圾郵件過濾學習案例，電商商品推薦，電影推薦學習案例
一、Saprk機器學習介紹 ------------------------------------------------------------------ 1.監督學習 a.有訓練資料集,符合規範的資料 b.根據資料集，產生一個推斷函式
[大資料專案]-0010-深入淺出Spark機器學習實戰（使用者行為分析）
2018最新最全大資料技術、專案視訊。整套視訊，非那種淘寶雜七雜八網上能免費找到拼湊的亂八七糟的幾年前的不成體系浪費咱們寶貴時間的垃圾，詳細內容如下，視訊高清不加密，需要的聯絡QQ：3164282908（加Q註明51CTO）。 [大資料專案]-0006-深入淺出S
《Spark機器學習》筆記——基於MovieLens資料集使用Spark進行電影資料分析
1、資料集下載https://grouplens.org/datasets/movielens2、資料集下檔案格式u.user使用者屬性檔案包含user.id使用者ID gender性別 occupation職業 ZIP code郵編等屬性，每個屬性之間用|分
基於Kubernetes的機器學習微服務系統設計系列——(十)資料視覺化
內容提要 資料視覺化 視覺化演示 資料視覺化 應用訪問介面如圖所示： 應用服務UI介面 包括： 微服務配置、分類任務配置； 微服務資源監控，動態顯示； 資料集分析圖、分類對比圖；
學習筆記:從0開始學習大資料-12. spark安裝部署
為了教學方便，考慮ALL IN ONE，一臺虛擬機器構建整個實訓環境，因此是偽分散式搭建spark 環境： hadoop2.6.0-cdh5.15.1 jdk1.8 centos7 64位 1. 安裝scala環境 版本是scala-2.12.7，官網下載
大資料開發是先學習Hadoop還是spark，看10萬程式猿所留下的結論
首先，我先申明：任何以『做大資料好像掙得多』為名學習資料科學相關的內容都是不謹慎，而且難以有回報
程式設計師內功修煉之演算法與資料結構 為機器學習、大資料補足演算法知識
現在外面的演算法課程層出不窮，少則大幾百，多則上千，但是無論課程質量與否，關鍵還是要靠自己學習了基本的知識以後，就可以通過自身進一步昇華。課程的清晰程度和講授質量都是一流水準，備課專業，良心之作。跟完這個課程自己學到的不光是資料結構的知識，還有很多附加的老師潛移默化帶給我的其他程式設計方面的提升，思考問題
spark機器學習筆記：（二）用Spark Python進行資料處理和特徵提取
下面用“|”字元來分隔各行資料。這將生成一個RDD,其中每一個記錄對應一個Python列表,各列表由使用者ID(user ID)、年齡(age)、性別(gender)、職業(occupation)和郵編(ZIP code)五個屬性構成。4之後再統計使用者、性別、職業和郵編的數目。這可通過如下程式碼
500G python web、爬蟲、資料分析、機器學習、大資料、前端實戰專案視訊程式碼免費分享
資料分享：1、python基礎入門教程2、100多本python電子書：3、Django教學網站專案實戰視訊，帶xadmin後臺和原始碼：4、Flask專案實戰視訊和原始碼：5、爬蟲專案視訊和原始碼：（含scrapy學習）6、資料分析視訊和原始碼：7、機器學習深度學習視訊和原
Spark 機器學習實踐 ：Iris資料集的分類
今天試用了一下Spark的機器學習，體驗如下： 第一步，匯入資料 我們使用Iris資料集，做一個分類，首先要把csv檔案匯入。這裡用到了spark的csv包，不明白為什麼這麼常見的功能不是內建的，還需要額外載入。 --packages com.databricks:spar
大資料，資料分析，機器學習，架構等相關係統名稱名詞解釋
常用的一些軟體或其他 1.日誌（日誌收集，日誌處理） 風來了.fox 1.1 Logstash Logstash是一款輕量級的日誌蒐集處理框架，可以方便的把分散的、多樣化的日誌蒐集起來，並進行自定義的處理，然後傳輸到指定的位置，比如某個伺服器或者