2. 程式人生 > >Hadoop 在Windows7作業系統下使用Eclipse來搭建hadoop開發環境

Hadoop 在Windows7作業系統下使用Eclipse來搭建hadoop開發環境

阿新 • • 發佈：2019-01-15
  1. 2014-12-16 15:34:01,303 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(996)) - session.id is deprecated. Instead, use dfs.metrics.session-id
  2. 2014-12-16 15:34:01,309 INFO [main] jvm.JvmMetrics (JvmMetrics.java:init(76)) - Initializing JVM Metrics with processName=JobTracker, sessionId=

  3. 2014-12-16 15:34:02,047 INFO [main] input.FileInputFormat (FileInputFormat.java:listStatus(287)) - Total input paths to process : 1
  4. 2014-12-16 15:34:02,120 INFO [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(396)) - number of splits:1
  5. 2014-12-16 15:34:02,323 INFO [main] mapreduce.JobSubmitter (
    JobSubmitter.java:printTokens(479)) - Submitting tokens for job: job_local1764589720_0001
  6. 2014-12-16 15:34:02,367 WARN [main] conf.Configuration (Configuration.java:loadProperty(2345)) - file:/tmp/hadoop-hadoop/mapred/staging/hadoop1764589720/.staging/job_local1764589720_0001/job.xml:an attempt to override final parameter:
     mapreduce.job.end-notification.max.retry.interval; Ignoring.
  7. 2014-12-16 15:34:02,368 WARN [main] conf.Configuration (Configuration.java:loadProperty(2345)) - file:/tmp/hadoop-hadoop/mapred/staging/hadoop1764589720/.staging/job_local1764589720_0001/job.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
  8. 2014-12-16 15:34:02,682 WARN [main] conf.Configuration (Configuration.java:loadProperty(2345)) - file:/tmp/hadoop-hadoop/mapred/local/localRunner/hadoop/job_local1764589720_0001/job_local1764589720_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.retry.interval; Ignoring.
  9. 2014-12-16 15:34:02,682 WARN [main] conf.Configuration (Configuration.java:loadProperty(2345)) - file:/tmp/hadoop-hadoop/mapred/local/localRunner/hadoop/job_local1764589720_0001/job_local1764589720_0001.xml:an attempt to override final parameter: mapreduce.job.end-notification.max.attempts; Ignoring.
  10. 2014-12-16 15:34:02,703 INFO [main] mapreduce.Job (Job.java:submit(1289)) - The url to track the job: http://localhost:8080/
  11. 2014-12-16 15:34:02,704 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1334)) - Running job: job_local1764589720_0001
  12. 2014-12-16 15:34:02,707 INFO [Thread-4] mapred.LocalJobRunner (LocalJobRunner.java:createOutputCommitter(471)) - OutputCommitter set in config null
  13. 2014-12-16 15:34:02,719 INFO [Thread-4] mapred.LocalJobRunner (LocalJobRunner.java:createOutputCommitter(489)) - OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
  14. 2014-12-16 15:34:02,853 INFO [Thread-4] mapred.LocalJobRunner (LocalJobRunner.java:runTasks(448)) - Waiting for map tasks
  15. 2014-12-16 15:34:02,857 INFO [LocalJobRunner Map Task Executor #0] mapred.LocalJobRunner (LocalJobRunner.java:run(224)) - Starting task: attempt_local1764589720_0001_m_000000_0
  16. 2014-12-16 15:34:02,919 INFO [LocalJobRunner Map Task Executor #0] util.ProcfsBasedProcessTree (ProcfsBasedProcessTree.java:isAvailable(129)) - ProcfsBasedProcessTree currently is supported only on Linux.
  17. 2014-12-16 15:34:03,281 INFO [LocalJobRunner Map Task Executor #0] mapred.Task (Task.java:initialize(581)) - Using ResourceCalculatorProcessTree : org.apache.hadoop.yarn.util.[email protected]
  18. 2014-12-16 15:34:03,287 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:runNewMapper(733)) - Processing split: hdfs://192.168.52.128:9000/data/input/README.txt:0+1366
  19. 2014-12-16 15:34:03,304 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:createSortingCollector(388)) - Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer
  20. 2014-12-16 15:34:03,340 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:setEquator(1181)) - (EQUATOR) 0 kvi 26214396(104857584)
  21. 2014-12-16 15:34:03,341 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:init(975)) - mapreduce.task.io.sort.mb: 100
  22. 2014-12-16 15:34:03,341 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:init(976)) - soft limit at 83886080
  23. 2014-12-16 15:34:03,341 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:init(977)) - bufstart = 0; bufvoid = 104857600
  24. 2014-12-16 15:34:03,341 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:init(978)) - kvstart = 26214396; length = 6553600
  25. 2014-12-16 15:34:03,708 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1355)) - Job job_local1764589720_0001 running in uber mode : false
  26. 2014-12-16 15:34:03,710 INFO [main] mapreduce.Job (Job.java:monitorAndPrintJob(1362)) - map 0% reduce 0%
  27. 2014-12-16 15:34:04,121 INFO [LocalJobRunner Map Task Executor #0] mapred.LocalJobRunner (LocalJobRunner.java:statusUpdate(591)) - 
  28. 2014-12-16 15:34:04,128 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:flush(1435)) - Starting flush of map output
  29. 2014-12-16 15:34:04,128 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:flush(1453)) - Spilling map output
  30. 2014-12-16 15:34:04,128 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:flush(1454)) - bufstart = 0; bufend = 2055; bufvoid = 104857600
  31. 2014-12-16 15:34:04,128 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:flush(1456)) - kvstart = 26214396(104857584); kvend = 26213684(104854736); length = 713/6553600
  32. 2014-12-16 15:34:04,179 INFO [LocalJobRunner Map Task Executor #0] mapred.MapTask (MapTask.java:sortAndSpill(1639)) - Finished spill 0
  33. 2014-12-16 15:34:04,194 INFO [LocalJobRunner Map Task Executor #0] mapred.Task (Task.java:done(995)) - Task:attempt_local1764589720_0001_m_000000_0 is done. And is in the process of committing
  34. 2014-12-16 15:34:04,207 INFO [LocalJobRunner Map Task Executor #0] mapred.LocalJobRunner (LocalJobRunner.java:statusUpdate(591)) - map
  35. 2014-12-16 15:34:04,208 INFO [LocalJobRunner Map Task Executor #0] mapred.Task (Task.java:sendDone(1115)) - Task \'attempt_local1764589720_0001_m_000000_0\' done.
  36. 2014-12-16 15:34:04,208 INFO [LocalJobRunner Map Task Executor #0] mapred.LocalJobRunner (LocalJobRunner.java:run(249)) - Finishing task: attempt_local1764589720_0001_m_000000_0
  37. 2014-12-16 15:34:04,208 INFO [Thread-4] mapred.LocalJobRunner (LocalJobRunner.java:runTasks

相關推薦

Windows系統下Eclipse上搭建Python開發環境

acl ora .com sdn down win ava ecp http 參考網站： https://blog.csdn.net/zhangphil/article/details/78962159 1、先安裝JDK ，參考網站:https://www.cnblog

Windows7作業系統下使用Eclipse來搭建hadoop開發環境

[main] WARN org.apache.hadoop.util.NativeCodeLoader- Unable to load native-hadoop library for your platform... using builtin-javaclasses where applicable

Hadoop 在Windows7作業系統下使用Eclipse來搭建hadoop開發環境

2014-12-16 15:34:01,303 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(996)) - session.id is deprecated. Instead, use dfs.m

window下在Eclipse上搭建perl開發環境

    Eclipse是著名的跨平臺的自由整合開發環境（IDE）。最初主要用來Java語言開發，目前亦有人通過外掛使其作為C++、Python、PHP等其他語言的開發工具。Eclipse的本身只是一個框架平臺，但是眾多外掛的支援，使得Eclipse擁有較佳的靈活性。許多軟

【甘道夫】Eclipse+Maven搭建HBase開發環境及HBaseDAO代碼演示樣例

into disable ner except depend strong condition lena esc 環境： Win764bit Eclipse Version:

eclipse+tomcat搭建javaweb開發環境

相關文章 我用的jdk是1.7，eclipse是luna版本，tomcat8.0。都是64位 工具下載 eclipse配置tomcat jdk安裝及配置環境變數，網上很多，不再贅述 eclipse和tomcat下載後是一個壓縮包

Windows下使用VS2017搭建FLTK開發環境

環境介紹 系統：win10 64位 IDE：VS 2017 Community FLTK版本：1.3.4-2 下載FLTK 截止到本文編寫，FLTK的最新穩定版本是1.3.4-2。我們從官網(www.fltk.org)下載到它的原始碼包。如下圖： 我把它解壓到D:\FLTK目錄下： &n

ESP32系列教程：《入門篇：ESP32開發環境搭建》--Windows下使用VScode搭建ESP32開發環境

github地址：https://github.com/xiaolongba/wireless-tech 如何搭建ESP32開發環境 前言 ESP32是樂鑫在其上一代ESP8266一炮而紅之後,推出的第二代高性價比的產品,ESP32在上一代的基礎上增加了藍芽4.2的功能,加上

IDEA下使用Maven搭建spark開發環境WordCount示例

一、建立Maven專案 二、新增相關依賴（配置pom.xml檔案） <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0"

Eclipse中搭建MapReduce開發環境

一、安裝Eclipse1、下載-官方網址2、解壓     tar -zxvf eclipse-committers-oxygen-3a-linux-gtk-x86_64.tar.gz3、啟動 （建立桌面快捷方式）        我們可以直接啟動，進入eclipse解壓目錄使用

Linux(centos)下用vim搭建php開發環境IDE

讓vi以vim來執行 輸入alias命令： alias檢視當前所有命令 下面是加入命令 ? 1 alias vi='vim' 這表示當你使用vi 這個命令時，其實執行的是vim。如果沒有這一行，那麼你必須使用vim filename來啟動vim。 al

tomcat+eclipse +mysql搭建JSP開發環境

                                                                                  tomcat+eclipse+mysql搭建JSP開發環境    一.準備工作    1.系統環境：Wind

Android：使用eclipse luna搭建Android開發環境（支援java8）

一、下載相關軟體 　　android開發環境 　　 　　準備工作：下載Eclipse、JDK、Android SDK、ADT外掛 　　上面要下載的4個軟體中，除了JDK之外，Eclipse、Android SDK、ADT外掛這三個都需要FQ才能夠正常下

Windows下簡單快速搭建Flask開發環境

下載Python3 安裝virtualenv 執行命令：pip intall virtualenv 直接安裝 執行建立虛擬環境命令:virtualenv venv ，在當前目錄下會成功生產一個venv資料夾。 開啟虛擬環境：先cd venv，進入

在eclipse上搭建mapreduce開發環境及執行wordcount

1.先說明我的實驗環境： win7, eclipse版本是Neon.2 Release (4.6.2), hadoop2.7.3部署在1master，3slave的叢集上 2.需要下載winutils

Windows10系統下使用Docker搭建ClickHouse開發環境

## 前提 隨著現在業務開展，幾個業務系統的資料量開始急劇膨脹。之前使用了關係型資料庫`MySQL`進行了一次資料倉庫的建模，發現了資料量上來後，大量的`JOIN`操作在提高了雲`MySQL`的配置後依然有點吃不消，加之開發了一個基於關係型資料庫設計的標籤服務，日全量標籤資料（無法避免的笛卡爾積）單表超過`

eclipse上搭建hadoop開發環境

hadoop一、概述1.實驗使用的Hadoop集群為偽分布式模式，eclipse相關配置已完成；2.軟件版本為hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。 二、使用eclipse連接hadoop集群進行開發1.在開發主機上配置hadoop①將hadoop-2.7.3.

如何在windows7作業系統下搭建用於開發網站的web伺服器環境

相信很多人和我一樣，都想過搭建一個自己的web伺服器，設計一個網站，好讓別人來訪問。 怎麼在windows下實現呢？方法其實非常簡單，你既不需要任何特別的作業系統，也不需要租用別人的伺服器，你自己的

windows下idea中搭建hadoop開發環境，向遠端hadoop叢集提交mapreduce任務

1.下載hadoop2.6.0-cdh5.6.1,解壓並安裝 公司用的hadoop叢集版本是hadoop2.6.0-cdh5.6.1，防止版本衝突，所有的hadoop版本號都用了這個。 下載地址：http://archive.cloudera.com/cdh

如何在Windows7作業系統下安裝用於C++開發的Eclipse

在windows下開發C++程式，我用過的最多的環境是Dev-C++。 Dev-C++很簡潔，安裝簡單，直接去官網下載安裝到C盤即可。 Eclipse相對於Dev-C++而言是一款功能更加強大的開發