易學筆記-第2章關於MapReduce

阿新 • • 發佈：2018-11-12

第2章關於MapReduce/2.1 氣象資料集

MapReduce主流語言版本，可運行於不同的Hadoop版本
1. Java
2. Ruby
3. Python
4. C++
氣象資料集

例子：
1. 需求：
2. 氣溫的資料格式：

第2章關於MapReduce/2.2 使用Unix工具來分析資料

使用Unix工具來分析資料

需求：
傳統的awk分析：
1. 遍歷整個資料檔案，找到一年中最高的那個氣溫：
並行處理

第2章關於MapReduce/2.3 使用Hadoop來分析資料/2.3.1 map和reduce

map和reduce

概念：兩者都是以鍵值對的方式作為輸入輸出的，其中
1. map：資料準備，比如將文字的每一行作為輸入，由於只關心年份和氣溫，所以只需要取出年份和氣溫值即可
2. reduce：資料處理，比如找出每一年的最高氣溫
舉例：
1. map：
  1. 輸入：
  2. 輸出：通過對鍵值進行排序和處理後得出結果，該結果作為reduce的輸入
2. reduce ：
  1. 輸入：map處理後的資料：
  2. 輸出：找出每一個年份最大值：
整個資料流過程：
1. 原始資料-->map輸入（鍵值對）：行偏移量:每行資料-->多個單行(年份,氣溫)-->按年份排序並彙集氣溫-->map輸出-->reduce每一行取最大值-->reduce輸出

易學筆記-第2章關於MapReduce

第2章關於MapReduce/2.1 氣象資料集 MapReduce主流語言版本，可運行於不同的Hadoop版本 Java Ruby Python C++ 氣象資料集例子：需求：

易學筆記-第2章：spring中的Bean/2.6 環境引數和佔位符

第2章：spring中的Bean/2.6 環境引數和佔位符/2.6.1 環境引數/2.6.1.1 概念概念與設定指的是為了區分不同的環境而設定的引數，比如開發環境和生產環境第2章：spring中的Bean/2.6 環境引數和佔

易學筆記--第2章：spring中的Bean/2.5 Bean的週期回撥

第2章：spring中的Bean/2.5 Bean的週期回撥/2.5.1 概念概念這裡的宣告週期指的是Bean在建立完成後和銷燬時這兩個時間點，對於不同的作用域這兩個時間點有所不同

易學筆記--第2章：spring中的Bean/2.4 延遲初始化

第2章：spring中的Bean/2.4 延遲初始化/2.4.1 概念概念針對作用域是singleton的Bean 預設情況下Bean的建立時在spring容器的啟動階段完成的，這樣的好處是：以後需要用到

易學筆記--第2章：spring中的Bean/2.3 Bean的作用域

第2章：spring中的Bean/2.3 Bean的作用域/2.3.1 單例：singleton 單例：singleton 概念：指的是所建立的Bean在整個宣告週期中都是唯一的一個物件，也就是所謂的單例模式在宣告bean的時候如果省略則預設為預設為single

易學筆記-第2部分 Node.js入門指南/第5章 Node.js在幣圈流行麼

第2部分 Node.js入門指南/第5章 Node.js在幣圈流行麼/5.1 Node.js在開源社群很流行 Node.js在開源社群很流行概念：JavaScript大部分專案都是建立在Node.js平臺之上的在Github上專案採用的語言統計，JavaScr

易學筆記-第1章 HTTP概述（2）

第1章 HTTP概述/1.6 連線/1.6.1 TCP/IP TCP/IP TCP/IP：隱藏了計算機底層網路細節，實現了無差錯、按順序、超時重發、未分段的資料流傳輸 HTTP：屬於應用層協議第1章 HTTP概述/1.6 連線/1.6.2 連

易學筆記-第4章容器/4.2 終止容器

終止容器停止容器：docker stop -t 1 容器ID，如果忽略 -t 1，則預設 10秒 [[email protected] ~]# docker stop -t 1 b661bee08c5d3062f0ee b661bee08c5

易學筆記-第6章資料管理/6.2 資料卷容器

資料卷容器在一個映象內建立一個數據卷，然後其他容器共用建立資料卷容器dbdata: [[email protected] localwys]# docker run -it --name datadocker -v /dbd

易學筆記-第5章：數字/5.3 內建數字工具/5.3.2 內建數學函式

內建數學函式 pow：運算次方 abs：求絕對值 round：四捨五入保留N位小數 >>> a=1.235 >>> round(a,2) &nbs

易學筆記-第5章：數字/5.2 數字常量

數字常量整數（無窮大小）：可以表示無限大 1234 -234 0 99999 浮點數 1.23 1. 3.14e-10：e代表10，e-10表示10的-10次方 4e

易學筆記-第1章：socket：套接字/1.1 服務端socket/1.1.2 sockaddr_in：地址族結構體

易學筆記十年IT經驗個人學習筆記分享: 開發語言：C/C++/JAVA/PYTHON/GO/JSP WEB架構：Servlets/springMVC/springBoot/springClound 容器架構:Docker容器/Docker叢集/Docker與微服務整合/

易學筆記-第1章初識Hadoop（2）

易學筆記-第1章網路介紹/1.1 連線到網路或者因特網上/1.1.2 網路的組成

《從0到1》讀書筆記第2章"像1999 年那樣狂歡"第1記:小結及詞匯解析

content 高新 1.8 匯率穩定盈利模式 fun csdn 外匯小結本章的目的應該是通過90年代末的互聯網泡沫的背景，成因。影響，以及教訓來教誡人們，在全部人都瘋狂的拋身於洪流熱潮之中時，我們要冷靜的思考辨識出那些不切實際的大眾觀點，

《Linux系統編程手冊》讀書筆記——第2章基本概念

守護 setenv 代碼不存在 export 層級用途運行時創建操作系統的核心--內核內核的職責進程調度：Linux屬於搶占式多任務操作系統，多個進程可同時駐留於內存，且每個進程都能獲得對CPU的使用權。哪些進程獲得對CPU的使用，以及每個進程能使用多長時間

<<網絡是怎樣連接的>>筆記第2章用電信號傳輸Tcp/ip數據

並發 itl 第2章進行 layout 刪除 area you 網絡創建套接字：協議棧的內部結構、套接字的實體，以及創建套接字的操作過程連接服務器： “連接”具體是進行怎樣的操作，在這個過程中協議棧到底是如何工作的，以及客戶端和服務器是

pathon筆記——第2章變數和簡單資料型別

1、修改字串大小寫 title（）方法：首字母大寫 upper（）方法：全部大寫 lower（）方法：全部小寫 2、拼接字串用+直接拼接 3、使用製表符或換行符製表符\t 換行符\n 4、刪除空白 rstrip()方法：刪除字串末尾空白 lstrip()方法：刪除字串開頭空白 str

易學筆記-第4章容器/4.3 進入容器

進入容器 attach 命令：docker attach 容器名 [[email protected] ~]# docker attach sharp_davinci sharp_davinci：為容器名 [email protect

易學筆記-第4章容器/4.1 建立容器

建立容器建立容器：docker create -it 映象名:映象標籤 [[email protected] ~]# docker create -it docker.io/ubuntu:latest b094f7340e9db37aa5745abd9ec4ee

易學筆記-第2章 關於MapReduce

相關推薦

易學筆記-第2章關於MapReduce