1. 程式人生 > >大資料學習準備工作

大資料學習準備工作

  • 一、linux安裝
  • 1.1安裝vmware軟體

 

 

  • 1.2驗證VMWARE是否安裝成功

(如果機器在安裝vmware的時候會出現一個錯誤:virtual XT,這需要重啟電腦<按F2/按DELET/.........>進入BIOS,開啟這個虛擬加速開關)

(有些WINDOWS8/10系統會出現虛擬網絡卡安裝失敗的現象,這需要關閉windows的驅動程式安裝簽名驗證)

 

 

  • 1.3啟動vmware後的軟體介面

 

  • 1.4新建虛擬機器

 

  • 1.5選擇自定義配置

 

 

 

 

  • 1.6選擇硬體相容標準

 

  • 1.7選擇是否讓vmware安裝作業系統

 

 

  • 1.8選擇將要安裝的作業系統的型別

 

  • 1.9選擇虛擬系統檔案存放的目錄

 

 

1.10為虛擬機器分配cpu/記憶體

 

 

 

  • 1.11選擇虛擬機器所連線的網路型別

 

 

1.12選擇為虛擬機器建立一塊新的虛擬磁碟

 

 

  • 1.13虛擬機器建立完畢後,可以調整硬體配置(刪除印表機、音效卡等無用硬體)

 

  • 1.14往虛擬機器的光碟機中插入一張linux安裝光碟的iso映象檔案

 

 

 

 

  • 1.15啟動虛擬機器,將自動進入centos安裝介面

接下來按提示不斷下一步即可(中間可以選擇安裝模式:desktop、minimal、server等,建議先用desktop,因為安裝的工具軟體比較全)

 

 

 

 

 

  • 1.16centos系統安裝完後,需要設定網路

首先在vmware中,檢視NAT網路模式中的虛擬路由器的網段和IP地址

 

 

 

 

  • 1.17接下來設定windows的vmnet8的ip地址和虛擬機器中centos的ip地址,即可聯網

(圖片:NAT虛擬網路配置.png)

  • 二、linux常用軟體安裝
  • 2.1修改Linux的基本配置
  • 修改主機名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=server1.itcast.cn

  • 修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0

TYPE=Ethernet

ONBOOT=yes

BOOTPROTO=static

IPADDR=192.168.0.101

NETMASK=255.255.255.0

service network restart

  • 修改ip地址和主機名的對映關係

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.101 server1.itcast.cn

  • 關閉iptables並設定其開機啟動/不啟動

service iptables stop

chkconfig iptables on

chkconfig iptables off

  • 2.2安裝JDK
  • 上傳jdk-7u45-linux-x64.tar.gz到Linux上
  • 解壓jdk到/usr/local目錄

tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/

  • 設定環境變數,在/etc/profile檔案最後追加相關內容

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_45

export PATH=$PATH:$JAVA_HOME/bin

  • 重新整理環境變數

source /etc/profile

  • 測試java命令是否可用

java -version

  • 2.3安裝Tomcat
  • 上傳apache-tomcat-7.0.68.tar.gz到Linux上
  • 解壓tomcat

tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/

  • 啟動tomcat

/usr/local/apache-tomcat-7.0.68/bin/startup.sh

  • 檢視tomcat程序是否啟動

jps

  • 檢視tomcat程序埠

netstat -anpt | grep 2465

  • 通過瀏覽器訪問tomcat

http://192.168.0.101:8080/

  • 2.5安裝MySQL
  • 上傳MySQL-server-5.5.48-linux2.6.x86_64.rpm、MySQL-client-5.5.48-linux2.6.x86_64.rpm到Linux上
  • 使用rpm命令安裝MySQL-server-5.5.48-1.linux6.x86_64.rpm,缺少perl依賴

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

  • 安裝perl依賴,上傳6個perl相關的rpm包

rpm -ivh perl-*

  • 再安裝MySQL-server,rpm包衝突

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

  • 解除安裝衝突的rpm包

rpm -e mysql-libs-5.1.73-5.el6_6.x86_64 --nodeps

  • 再安裝MySQL-client和MySQL-server

rpm -ivh MySQL-client-5.5.48-1.linux2.6.x86_64.rpm

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

  • 啟動MySQL服務,然後初始化MySQL

service mysql start

/usr/bin/mysql_secure_installation

  • 測試MySQL

mysql -u root -p

 

 

三、本地YUM源製作

  • 3.1YUM相關概念
  • 什麼是YUM

YUM(全稱為 Yellow dog Updater, Modified)是一個在Fedora和RedHat以及CentOS中的Shell前端軟體包管理器。基於RPM包管理,能夠從指定的伺服器自動下載RPM包並且安裝,可以自動處理依賴性關係,並且一次安裝所有依賴的軟體包,無須繁瑣地一次次下載、安裝。

  • YUM的作用

在Linux上使用原始碼的方式安裝軟體非常滿分,使用yum可以簡化安裝的過程

  • 3.2YUM的常用命令

安裝httpd並確認安裝

yum instll -y httpd

 

列出所有可用的package和package組

yum list

 

清除所有緩衝資料

yum clean all

 

列出一個包所有依賴的包

yum deplist httpd

 

刪除httpd

yum remove httpd

  • 3.3製作本地YUM源
  • 為什麼要製作本地YUM源

YUM源雖然可以簡化我們在Linux上安裝軟體的過程,但是生成環境通常無法上網,不能連線外網的YUM源,說以接就無法使用yum命令安裝軟體了。為了在內網中也可以使用yum安裝相關的軟體,就要配置yum源。

  • YUM源的原理

YUM源其實就是一個儲存了多個RPM包的伺服器,可以通過http的方式來檢索、下載並安裝相關的RPM包

 

  • 製作本地YUM源(以下十六個步驟)

   1準備一臺Linux伺服器,用最簡單的版本CentOS-6.7-x86_64-minimal.iso

   2配置好這臺伺服器的IP地址

   3上傳CentOS-6.7-x86_64-bin-DVD1.iso到伺服器

   4將CentOS-6.7-x86_64-bin-DVD1.iso映象掛載到某個目錄

                      mkdir /var/iso

                      mount -o loop CentOS-6.7-x86_64-bin-DVD1.iso /var/iso

    5.修改本機上的YUM源配置檔案,將源指向自己

           備份原有的YUM源的配置檔案

          cd /etc/yum.repos.d/

          rename .repo .repo.bak *

          vi CentOS-Local.repo

[base]

name=CentOS-Local

baseurl=file:///var/iso

gpgcheck=1

enabled=1   #很重要,1才啟用

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

新增上面內容儲存退出

       6清除YUM緩衝

yum clean all

     7列出可用的YUM源

yum repolist

     8安裝相應的軟體

yum install -y httpd

     9.開啟httpd使用瀏覽器訪問http://192.168.0.100:80(如果訪問不通,檢查防火牆是否開啟了80埠或關閉防火牆)

service httpd start

   10.將YUM源配置到httpd(Apache Server)中,其他的伺服器即可通過網路訪問這個內網中的YUM源了

cp -r /var/iso/ /var/www/html/CentOS-6.7

   11.取消先前掛載的映象

umount /var/iso

   12.在瀏覽器中訪問http://192.168.0.100/CentOS-6.7/

    13讓其他需要安裝RPM包的伺服器指向這個YUM源,準備一臺新的伺服器,備份或刪除原有的YUM源配置檔案

cd /etc/yum.repos.d/

rename .repo .repo.bak *

vi CentOS-Local.repo

[base]

name=CentOS-Local

baseurl=http://192.168.0.100/CentOS-6.7

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

新增上面內容儲存退出

     14在這臺新的伺服器上執行YUM的命令

yum clean all

yum repolist

     15安裝相應的軟體

yum install -y gcc

 

    16加入依賴包到私有yumrepository

進入到repo目錄

執行命令:  createrepo  .

 

  • 四、VMware虛擬機器三種聯網方法及原理
  • 4.1Brigde——橋接:預設使用VMnet0

 

  • 4.1.1原理:

 
Bridge  橋"就是一個主機,這個機器擁有兩塊網絡卡,分別處於兩個區域網中,同時在"橋"上,執行著程式,讓區域網A中的所有資料包原封不動的流入B,反之亦然。這樣,區域網A和B就無縫的在鏈路層連線起來了,在橋接時,VMWare網絡卡和物理網絡卡應該處於同一IP網段  當然要保證兩個區域網沒有衝突的IP.
 
VMWare 的橋也是同樣的道理,只不過,本來作為硬體的一塊網絡卡,現在由VMWare軟體虛擬了!當採用橋接時,VMWare會虛擬一塊網絡卡和真正的物理網絡卡就行橋接,這樣,發到物理網絡卡的所有資料包就到了VMWare虛擬機器,而由VMWare發出的資料包也會通過橋從物理網絡卡的那端發出。
 
所以,如果物理網絡卡可以上網,那麼橋接的軟網絡卡也沒有問題了,這就是橋接上網的原理了。      

  • 4.1.2聯網方式:

 
這一種聯網方式最簡單,在區域網內,你的主機是怎麼聯網的,你在虛擬機器裡就怎麼連網。把虛擬機器看成區域網內的另一臺電腦就行了!
 
提示:主機網絡卡處在一個可以訪問Internet的區域網中,虛擬機器才能通過Bridge訪問Internet。
 

`````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
 

  • 4.2NAT——網路地址轉換  :預設使用VMnet8

 

  • 4.2.1原理:

 
NAT 是  Network  address  translate的簡稱。NAT技術應用在internet閘道器和路由器上,比如192.168.0.123這個地址要訪問internet,它的資料包就要通過一個閘道器或者路由器,而閘道器或者路由器擁有一個能訪問internet的ip地址,這樣的閘道器和路由器就要在收發資料包時,對資料包的IP協議層資料進行更改(即  NAT),以使私有網段的主機能夠順利訪問internet。此技術解決了IP地址稀缺的問題。同樣的私有IP可以閘道器NAT  上網。    
 
VMWare的NAT上網也是同樣的道理,它在主機和虛擬機器之間用軟體偽造出一塊網絡卡,這塊網絡卡和虛擬機器的ip處於一個地址段。同時,在這塊網絡卡和主機的網路介面之間進行NAT。虛擬機發出的每一塊資料包都會經過虛擬網絡卡,然後NAT,然後由主機的介面發出。
 
虛擬網絡卡和虛擬機器處於一個地址段,虛擬機器和主機不同一個地址段,主機相當於虛擬機器的閘道器,所以虛擬機器能ping到主機的IP,但是主機ping不到虛擬機器的IP。

  • 4.2.2聯網方式:

 
方法1、動態IP地址。
 
主機是靜態IP或動態IP,都無所謂,將虛擬機器設定成使用DHCP方式上網,Windows下選擇“自動獲取IP“,linux下開啟DHCP服務即可。(這種方法最簡單,不用過多的設定,但要在VMware中進行“編輯→虛擬網路設定”,將NAT和DHCP都開啟了。一般NAT預設開啟,DHCP預設關閉)

方法2、靜態IP地址。
 
如果不想使用DHCP,也可以手動設定:
 
IP設定與vmnet1同網段,閘道器設定成vmnet8的閘道器(在“虛擬網路設定”裡的Net選項卡里能找到Gateway)通常是xxx.xxx.xxx.2。
子網掩碼設定與VMnet8相同(設定好IP地址後,子網掩碼自動生成)
DNS設定與主機相同。
 
例如:主機IP是10.70.54.31,設定虛擬機器IP為10.70.54.22。Netmask,Gateway,DNS都與主機相同即可實現  虛擬機器  ---主機  虛擬機器<---->網際網路  通訊。    
 
提示:使用NAT技術,主機能上網,虛擬機器就可以訪問Internet,但是主機不能訪問虛擬機器。


 

  • 4.3Host-Only——私有網路共享主機:預設使用VMnet1

 

  • 4.3.1原理:

 
提供的是主機和虛擬機器之間的網路互訪。只想讓虛擬機器和主機之間有資料交換,而不想讓虛擬機器訪問Internet,就要採用這個設定了。
 
Host-only的條件下,VMWare在真正的Windows系統中,建立一塊軟網絡卡。這塊網絡卡可以在網路連線中看到,一般是VMNET1,這塊網絡卡的作用就是使Windows看到虛擬機器的IP。
 

  • 4.3.2聯網方法:

 
方法1、動態IP地址。
像上面那樣開啟DHCP後,虛擬機器直接自動獲取IP地址和DNS。就可以和主機相連了。當然,還要進行一些區域網共享的操作,這裡不再贅述。
 
方法2、靜態IP地址。    
 
也可以手動設定,將虛擬機器IP設定與VMnet1同網段,閘道器設定成VMnet1的閘道器相同,其餘設定與VMnet1相同,DNS設定與主機相同。
 
例如:VMnet1  IP:172.16.249.1        Gateway  :172.16.249.2

那麼虛擬機器  IP:172.16.249.100        Gateway:  172.16.249.2

這樣、      虛擬機器<--->主機              可以通訊        
但是、        虛擬機器<--->網際網路      無法通訊
 
提示:Host-only技術只用於主機和虛擬機器互訪,於訪問internet無關。

 

  • 五、其他
  • 5.1批量自動刪除rpm包:

rpm -qa | grep mysql | while read c; do rpm -e $c --nodeps; done

  • 5.2minimal最小化安裝

eth0預設沒有自啟用
修改配置檔案
onboot=true

  • 5.3修改靜態地址後發現無法ping外網

需要設定閘道器
route add default gw 192.168.33.1
新增nameserver
vi /etc/resolv.conf
nameserver 192.168.33.1

  • 5.4掛載光碟

mkdir /mnt/cdrom
mount -t iso9660 -o ro /dev/cdrom/ /mnt/cdrom

 

  • 5.5解決克隆後eth0不見的問題

直接修改  /etc/sysconfig/network-script/ifcfg-eth0
刪掉UUID  HWADDR
配置靜態地址
然後:
rm -rf /etc/udev/rules.d/70-persistent-net.rules
然後 reboot

  • 5.6ssh免密登陸示意圖