1. 程式人生 > >Sqoop-1.99.7安裝配置(詳細圖文)

Sqoop-1.99.7安裝配置(詳細圖文)

環境:centos 6.5,hadoop2.6.4叢集

1.解壓安裝sqoop

這裡寫圖片描述
從官網下載好安裝包,傳送到叢集中任意一臺主機即可。相信大家已經看到,1.99.7跟1.4.6是不相容的,而且官網也不建議使用這個版本在生產環境中使用。可是,為了學習,搞吧!

一如既往,我還是傳送到 master 節點上,在 /usr/hadoop 目錄下進行安裝。
解壓之後,我們將它改個名字,比如:
這裡寫圖片描述

2.配置sqoop

2.1修改sqoop.properties

然後我們進入到 sqoop-1.99.7 下的 conf 目錄裡,修改 sqoop.properties:
這裡寫圖片描述

這裡我建議大家好好看看這段話:
這裡寫圖片描述


它會提示你,這個配置檔案裡需要修改的有哪些地方。

先是 LOGDIR,配置檔案中是相對路徑,如果我們不配置的話,我們在哪裡啟動 sqoop2-shell(客戶端) 就會在哪裡生成一個”@[email protected]“的目錄用來日誌,就算這個我們不配置,BASEDIR 的目錄也要配置。為了以後方便管理我們還是都把這個設定成絕對路徑的好。
這個時候我們就可以使用全域性替換的命令來完成這個操作:

# 設定日誌檔案的目錄
0,%s/@LOGDIR@/\/usr\/hadoop\/sqoop-1.99.7\/logs/g
# 設定資料的存放目錄
0,%s/@BASEDIR@/\/usr\/hadoop\/sqoop-1.99
.7\/bin\/BASEDIR/g

這裡寫圖片描述

可以看到這裡需要使用到”\“來轉義,這裡我把存放日誌的 logs 放到了 sqoop 的安裝目錄下。我們可以通過相同的命令來替換 BASEDIR (強烈建議將這個路徑修改成絕對路徑,不然總會有一天你會發現你之前建立的 link、job 都沒有了,到時候再想找可就不是那麼容易了!!!)

到這裡我們還需要再修改一處地方:
這裡寫圖片描述

這裡要將原來的修改成為我們現有叢集的 hadoop 的配置檔案的目錄

2.2配置環境變數

接下來就是需要配置環境變數,在官網裡的是這樣寫的:
這裡寫圖片描述

大概意思就是說,sqoop 需要依賴於 hadoop 幾大元件,其實我們需要設定的可以用一個 ”$HADOOP_HOME“涵蓋完了。這個我們之前已經配置過了,所以這一項可以忽略掉。當然,還是要配置上 sqoop 的目錄,方便命令的使用。
這裡寫圖片描述


最後別忘了使 /etc/profile 生效。

2.3修改 core-site.xml

這裡寫圖片描述

我們需要在 hadoop 的配置檔案 core-site.xml 中加上這些內容:
這裡寫圖片描述
這裡我畫了一下 ”hdfs://master:9000“,大家先記住這個地方,等會兒建立 link 的時候會用到。

2.4新增 mysql 的驅動

將 mysql 的驅動放到 sqoop 的安裝目錄下的 server 下的 lib 目錄下:
這裡寫圖片描述

當然,這裡我們也可以參照官網上的方法:
這裡寫圖片描述
我為了省事兒就直接放到 server/lib 目錄下了,這樣可以省去配置第三方 jar 庫,不過,有點精神潔癖的或者不習慣我這樣操作的可以仿照官網的操作。

2.5初始化並驗證

我們進入到 sqoop 安裝目錄下的 bin 目錄中:
這裡寫圖片描述

使用 sqoop2-tool 來完成初始化和驗證:
這裡寫圖片描述
分別執行這個命令,當看到:

Verification was Successful.
Tool class ..... has finished correctly.

就表示,我們配置成功了。

3.啟動服務端/客戶端

這裡寫圖片描述

如圖,我們可以使用 sqoop2-server [ start | stop ] 來啟動和關閉服務端。之後使用 jps 命令可以檢視到
這裡寫圖片描述
會多了這個程序。

我們使用 sqoop2-shell 進入 sqoop 的命令列終端:
這裡寫圖片描述

到這裡我們的安裝就已經完成了。在下一篇中,我們來看看怎麼使用 sqoop2 。

相關推薦

Sqoop-1.99.7安裝配置詳細圖文

環境:centos 6.5,hadoop2.6.4叢集 1.解壓安裝sqoop 從官網下載好安裝包,傳送到叢集中任意一臺主機即可。相信大家已經看到,1.99.7跟1.4.6是不相容的,而且官網也不建議使用這個版本在生產環境中使用。可是,為了學習,搞吧!

sqoop-1.4.7安裝

(一):簡介和環境說明 sqoop是apache旗下一款“Hadoop和關係資料庫伺服器之間傳送資料”的工具。   匯入資料:MySQL,Oracle匯入資料到Hadoop的HDFS、HIVE、HBASE等資料儲存系統;   匯出資料:從Hadoop的檔案系統中匯出資料到關係資料庫

Tomcat7及jdk1.7安裝配置Windows

Tomcat7.0.22在Windows下詳細配置過程 一、JDK1.7安裝 1、下載jdk,下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-7u1-download-513651.html 2、新增系統環境變數

redis linux上的安裝配置詳細圖解

1、下載 http://redis.io/download 1 2、解壓至任一目錄 tar xzf redis-2.8.17.tar.gz 1 3、編譯並安裝 cd redis-2.8.17 make cd src make install PREF

【redis】linux上的安裝配置詳細圖解

1、下載 http://redis.io/download 2、解壓至任一目錄 tar xzf redis-2.8.17.tar.gz 3、編譯並安裝 cd redis-2.8.1

Hadoop基礎教程-第1章 環境安裝配置1.5 構建叢集

第1章 環境安裝配置 1.5 構建叢集 1、叢集概念 根據百度的解釋: 叢集是一組相互獨立的、通過高速網路互聯的計算機,它們構成了一個組,並以單一系統的模式加以管理。一個客戶與叢集相互作用時,叢集像是一個獨立的伺服器。叢集配置是用於提高可用性和可

hadoop3.1.0 HA高可用完全分散式叢集的安裝部署詳細教程

1.環境介紹 伺服器環境:CentOS 7 5臺伺服器 兩臺namenode 三臺datanode 節點 IP NN DN ZK ZKFC

sqoop2的shell下的使用及其詳解(sqoop-1.99.7)

前提是安裝好sqoop!! 1.服務端 如圖,我們可以使用 sqoop2-server [ start | stop ] 來啟動和關閉服務端。之後使用 jps 命令可以檢視到 會多了這個程序。 在啟動服務成功後,會在自動生成兩個檔案(如果沒有檔案),(預設的是BASEDIR

Sqoop-1.4.6安裝部署及詳細使用介紹和部分報錯資訊彙總

最近在開發oozie的排程系統中遇到了下面錯誤 ERROR tool.ImportTool: EncounteredIOException running import job: java.io.IOException: DataStreamer Exception:

搭建JEESZ分布式架構1--CentOs下安裝jdk7環境準備

框架 class x64 shel ice ava 測試 -- 運行 聲明:因為運行環境是基於Linux系統的,在做此框架之前需要做一些前期的環境準備工作CentOs下安裝jdk7網上很多實例,因為博客後期作為框架的原生教程,故這邊做詳細的安裝記錄 首 先在CentOs下下

greenplum 集群安裝配置生產環境

type usr lease 下一條 mark access 慎用 guid listen 集群系統初始化信息: http://blog.51cto.com/michaelkang/2167195 本文對敏感信息進行了替換!!!! 下載軟件包: cd /workspace/

mongodb 安裝配置linux/windows

 windows上出現的錯誤:  D:\MongoDB\bin>mongo.exe --dbpath d:\data\db  Error parsing command line: unrecongised option '--dbpath' &nbs

叢集安裝zookeeper詳細步驟

1、解壓zookeeper檔案 首先在主節點配置: 將下載到的zookeeper-3.4.6.tar.gz安裝檔案上傳到主機點的/usr/local目錄,解壓後進入根目錄建立data資料夾和logs資料夾 cd /usr/local #移動到安

linux下單節點和叢集安裝zookeeper詳細步驟

單節點安裝zookeeper  1、解壓zookeeper檔案 將下載到的zookeeper-3.4.6.tar.gz安裝檔案上傳到伺服器的/home目錄,解壓後進入根目錄建立data資料夾和logs資料夾 cd /usr/local

虛擬機器在centos下安裝Eclipse詳細步驟

一、下載Eclipse並安裝(如果沒有安裝Eclipse) 1.下載地址:http://www.eclipse.org/downloads/?osType=linux。選擇64位下載 2.安裝 1)將下載的壓縮包檔案移動到 /usr/local目錄 sudo

資料庫MYSQL5.7安裝教程附有圖示

step1:將mysql5.7解壓到自定義資料夾,別忘了將配置檔案my.ini中的basedir和datadir修改成自定義安裝的路徑,我解壓到了D盤的MYSQL資料夾下 step2:在mysql5.7目錄下有一個my-default.ini改名為my.ini      

Windows 10 + kali Linux 雙系統安裝教程詳細

準備工具如下: kali Linux 映象 準備一4G以上的U盤 製作U盤啟動盤工具- Win32DiskImager 新增引導工具-EasyBCD 留出一個空的盤,哪個盤的空間比較大可以壓縮出大概20-50G的空間。 1.磁碟壓縮新建分割槽 開啟計算機管理 》 儲存

搭建JEESZ分散式架構1--CentOs下安裝jdk7環境準備

宣告:因為執行環境是基於Linux系統的,在做此框架之前需要做一些前期的環境準備工作 CentOs下安裝jdk7網上很多例項,因為部落格後期作為框架的原生教程,故這邊做詳細的安裝記錄 首 先在CentOs下下載jdk7解壓檔案,tar包安裝(目前Oracle官方上,對於檔案

Scala 簡介及安裝配置Windows作業系統

一、Scala語言簡介 Scala是一種多正規化的程式語言,其設計的初衷是要整合面向物件程式設計和函數語言程式設計的各種特性。Scala運行於Java平臺(Java虛擬機器),併兼容現有的Java程式。它也能運行於CLDC配置的Java ME中。目前還有另一.

詳細hadoop下載安裝教程圖文

在前幾篇的文章中分別就虛擬系統安裝、LINUX系統安裝以及hadoop執行伺服器的設定等內容寫了詳細的操作教程,本篇分享的是hadoop的下載安裝步驟。 在此之前有必要做一個簡單的說明:分享的所有內容是以個人的操作經驗為基礎,有的人看完可能會說跟他做過的不一樣。這個可能還是