以某課網日誌分析為例 進入大資料 Spark SQL 的世界
- 第1章 初探大資料
本章將介紹為什麼要學習大資料、如何學好大資料、如何快速轉型大資料崗位、本專案實戰課程的內容安排、本專案實戰課程的前置內容介紹、開發環境介紹。同時為大家介紹專案中涉及的Hadoop、Hive相關的知識
- 第2章 Spark及其生態圈概述
Spark作為近幾年最火爆的大資料處理技術，是成為大資料工程師必備的技能之一。本章將從如下幾個方面對Spark進行一個巨集觀上的介紹：Spark產生背景、特點、發展史、Databricks官方調查結果、Spark與Hadoop的對比、Spark開發語言及執行模式介紹 ...
- 第3章 實戰環境搭建
工欲善其事必先利其器，本章講述Spark原始碼編譯、Spark Local模式執行、Spark Standalone模式執行
- 第4章 Spark SQL概述
Spark SQL面世已來，它不僅接過了Shark的接力棒，繼續為Spark使用者提供高效能SQL on Hadoop解決方案，還為Spark帶來了通用、高效、多元一體的結構化資料處理能力。本章將從Spark SQL前世今生、SQL on Hadoop框架、Spark SQL概述、願景、架構，這幾個角度進行展開講解...
- 第5章 從Hive平滑過渡到Spark SQL
Hive是SQL-on-Hadoop的解決方案和預設的標準，如何將資料處理從Hive過渡到Spark SQL上來是我們必須要掌握的。本章我們將講解在Spark中操作Hive中的資料幾種方式
- 第6章 DateFrame&Dataset
DataFrame&Dataset是Spark2.x中最核心的程式設計物件，Spark2.x中的子框架能夠使用DataFrame或Dataset來進行資料的互動操作。本章將從DataFrame的產生背景、DataFrame對比RDD、DataFrame API操作等方面對DataFrame做詳細的程式設計開發講解
- 第7章 External Data Source
Spark SQL中的核心功能，可以使用外部資料來源非常方便的對儲存在不同系統上的不同格式的資料進行操作。本章將講解如何使用外部資料來源來操作Hive、Parquet、MySQL中的資料以及綜合使用
- 第8章 SparkSQL願景
本章將講解Spark的願景：寫更少的程式碼、讀更少的資料、讓優化器自動優化程式
- 第9章 慕課網日誌實戰
本章使用Spark SQL對慕課網主站的訪問日誌進行各個維度的統計分析操作，涉及到的過程有：資料清洗、資料統計、統計結果入庫、資料的視覺化、調優及Spark on YARN。通過本實戰專案將Spark SQL中的知識點融會貫通，達到舉一反三的效果 ...
- 第10章 Spark SQL擴充套件和總結
本章將列舉Spark SQL在工作中經常用到的方方方面的總結
相關推薦
以某課網日誌分析為例 進入大資料 Spark SQL 的世界
第1章 初探大資料本章將介紹為什麼要學習大資料、如何學好大資料、如何快速轉型大資料崗位、本專案實戰課程的內容安排、本專案實戰課程的前置內容介紹、開發環境介紹。同時為大家介紹專案中涉及的Hadoop、Hive相關的知識第2章 Spark及其生態圈概述Spark作為近幾年最火爆的
以慕課網日誌分析為例 進入大資料 Spark SQL 的世界
第1章 初探大資料本章將介紹為什麼要學習大資料、如何學好大資料、如何快速轉型大資料崗位、本專案實戰課程的內容安排、本專案實戰課程的前置內容介紹、開發環境介紹。同時為大家介紹專案中涉及的Hadoop、Hive相關的知識1-1 導學1-2 -如何學好大資料1-3 -開發環境介紹1-4 -OOTB映象檔案使用介紹1
以慕課網日誌分析為例 進入大資料 Spark SQL 的世界 ---課程筆記--未完待續
第一章 初探大資料 1、什麼是大資料？ 大資料特徵：4V 資料量(Volume) PB、EB、ZB 給予高度分析的新價值(Value) 鉅額資料裡面提取需要的高價值資料
spark2.x-jvm調優實戰（以tomcat訪問日誌分析為例）
背景 如果在持久化RDD的時候，持久化了大量的資料，那麼Java虛擬機器的垃圾回收就可能成為一個性能瓶頸。因為Java虛擬機器會定期進行垃圾回收，此時就會追蹤所有的java物件，並且在垃圾回收時，找到那些已經不在使用的物件，然後清理舊的物件，來給新的物件騰出記
Spark專案學習-慕課網日誌分析-days5-Spark on Yarn
1. 概述 （1） 在Spark中，支援4種執行模式： 1）local:開發時使用 2）standalone：是Spark自帶的，如果一個叢集是Standalone的話，那就需要在多臺機器上同時部署Spa
Spark專案學習-慕課網日誌分析-days4-慕課網日誌分析
一 慕課網日誌分析實戰專案 1）使用者行為日誌概述 2）離線資料處理架構（資料如何採集，如何清洗，需求處理，寫入資料庫，視覺化） 3）專案需求 4）功能實現
Spark專案學習-慕課網日誌分析-days2-Spark SQL
1.Spark SQL 概述 （1）為什麼需要SQL 1）事實上的標準 2）簡單易學 Hive：類似於sql的Hive QL語言 sql==>mapreduce 特點：基於mapreduce 改進：基於tez spar
Spark專案學習-慕課網日誌分析-days3-External Data Source 外部資料來源
1. External Data Source 外部資料來源 1）每一個spark程式以載入資料開始，以輸出資料結束 2）方便快速的從不同的資料來源（json、parquet/rdbms），經過混合處理，在將處理結果以特定的格式，寫回到
Spark專案學習-慕課網日誌分析-days3-DataFrame&Dataset
1.DataFrame 1）不是Spark SQL提出的，而是早期在R，Pandas中產生的 2）DataFrame是一個以列（列名、列的型別、列值）的形式構成的分散式的資料集，按照列賦予不同的名稱 3）
Spark專案學習-慕課網日誌分析-days1-hadoop
1. HDFS架構 1 Master（NameNode/NM） 帶 N個Slaves（DataNode/DN) HDFS/YARN/HBase 1個檔案會被拆分成多個Block NN： 1）負責客戶端請求的響應 2）負責元資料（檔案的名稱、
【備忘】大資料spark SQL專案實戰分析視訊
一. 大資料初識 二. Spark以及生態圈概況 三. 專案開發環境搭建 四. Spark SQL概要 五. 從Hive平滑過渡到Spark 六. DateFrame與Dataset 七. External Data Source 八. SparkSQL願景 九. 大型網站日誌實戰 十.
scrapy爬取相似頁面及回撥爬取問題（以慕課網為例）
以爬取慕課網資料為例 慕課網的資料很簡單，就是通過get方式獲取的 連線地址為 https://www.imooc.com/course/list?page=2 根據page引數來分頁 這個時
u-boot原始碼目錄分析（以jz2440 u-boot1.1.6為例）
一、檔案的分析 arm_config.mk。字尾是.mk，是一個Makefile檔案，將來在某個Makefile中會去呼叫它。 Changelog檔案，修改記錄檔案，該檔案記錄了這個uboot專案的版本變遷以及每個版本較上個版本修改的記錄。 config.mk。和arm_
fiddler應用--修改請求、響應--以豆瓣網搜尋功能為例
以豆瓣網搜尋功能為例，從搜尋關鍵詞（即請求，request）到返回結果（即響應，response），正常為流程一： 1-瀏覽器將請求A傳送給伺服器。 2-伺服器收到請求A，將對應的響應a返回給瀏覽器。 3-瀏覽器收到響應a。 開啟fiddler後，變為流程二： 1-瀏覽器將請求A傳送
Spring AOP 的實現方式（以日誌管理為例）
一、為什麼需要AOP 假如我們應用中有n個業務邏輯元件，每個業務邏輯元件又有m個方法，那現在我們的應用就一共包含了n*m個方法，我會抱怨方法太多。。。現在，我有這樣一個需求，每個方法都增加一個通用的功能，常見的如：事務處理，日誌，許可權控制。。。最容易想到的方法，先定義一個
以獲取網上某篇文章的標題為例，介紹Jsoup常用的四種選擇器
jsoup常用的四種選擇器第一種選擇方式：通過節點名稱以及class來屬性來進行選擇第二種選擇方式：通過節點id來進行選擇第三種方式：通過文件節點順序來進行選擇第四種方式：通過谷歌瀏覽器來進行幫助選擇 public void getNewsTitle() throws Exc
springboot中過濾器的使用（以logback-日誌記錄為例）
過濾器和攔截器的區別，過濾器和攔截器的用途，面試經常被問到：https://blog.csdn.net/qq_36411874/article/details/53996873，這篇部落格寫的很詳細。 使用攔截器記錄日誌的案例：https://blog.csdn.net/qq_3128918
爬蟲基本原理介紹和初步實現（以抓取噹噹網圖書資訊為例）
本文程式碼等僅作學習記錄使用 一、爬蟲原理 網路爬蟲指按照一定的規則（模擬人工登入網頁的方式），自動抓取網路上的程式。簡單的說，就是講你上網所看到頁面上的內容獲取下來，並進行儲存。網路爬蟲的爬行策略分為深度優先和廣度優先。 （1）、深度優先 深度
SQLite3資料庫在嵌入式應用之三： 以日誌功能為例給出常用命令和C/C++常用API
/****************************************************** *SQLite3 比較重要的語句 *******************************************************/ #define LOG_TABLE_NAME "
雲電腦遊戲應用場景分析——以新睿雲雲電腦為例！
品牌 價格 期望 固態硬盤 每次 時也 聯盟 比較 遊戲 平日我們玩電腦除了看網速，另一點最重要的是吃電腦的配置。網絡問題相對比較好解決，就算辦一個專線，也不過幾千塊罷了！ 不過要想買一個高配電腦，那這裏面的水可深了。電腦有風冷和液冷，一般液冷電腦最少要幾萬塊打底。其中電腦