學習大資料

摘要： 第一天 環境的搭建 系統：Centos7.0 組建 Hadoop Spark Zookeeper Kafka Flume 語言 Java/Scala 安裝JDK 從Oracle管下載JDK 並且配置Java 的環境變數 解壓壓縮包 並且移動到 /usr/li...

第一天

• 環境的搭建

  系統：Centos7.0

  組建 Hadoop Spark Zookeeper Kafka Flume

  語言 Java/Scala

1. 安裝JDK

   從Oracle管下載JDK 並且配置Java 的環境變數

   解壓壓縮包 並且移動到 /usr/lib 中 
    tar zvxf jdk1.8.0_201
    mvjdk1.8.0_201 /usr/lib
    # 修改配置檔案
    vi /etc/profile

在profile 檔案末尾新增

#java env 
export JAVA_HOME=/usr/lib/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

儲存檔案後

source /etc/profile
 驗證
 java -version

1.2 配置虛擬機器網路

vi /etc/hosts
#在最後新增節點名稱和節點地址

關閉防火牆

service iptables stop
service ip6tables stop
service iptables status
service ip6tables status
checkconfig iptables off
checkconfig ipt6tables off
vi /etc/selinux/config
SELINUX=disable

1.3 安裝配置 Hadoop

同樣從官網下載hadoop 並且在本地解壓

vi /etc/profile

在檔案末尾新增

HADOOP_HOME=/usr/lib/hadoop
#應該為解壓後Hadoop所在的位置

修改Hadoop配置檔案

hdfs.xml,yarn.xml.mapper.site.xml

2.安裝資料庫和HIVE

2.1 安裝Mysql

因為CentOS 7之後的版本yum的預設源中使用MariaDB替代原先MySQL，因此安裝方式較為以往有一些改變：

安裝wget

yum -y install wget

下載mysql的源：

wget [http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm]
(http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm)

安裝yum庫

yum localinstall -y mysql57-community-release-el7-7.noarch.rpm

安裝MySQL

yum install -y mysql-community-server

啟動MySQL服務

systemctl start mysqld.service

因為MySQL5.7加強了root使用者的安全性，會初始化一個隨機密碼，以下為檢視初始隨機密碼的方式

grep 'temporary password' /var/log/mysqld.log

使用初始隨機密碼登入後MySQL會強制要求修改密碼，否則無法正常使用，

（密碼必須包含小寫、大寫字母及特殊字元，當然也有其他方法不受此限制，再次不多做描述），修改方法如下：

SET PASSWORD = PASSWORD('your new password');
ALTER USER 'root'@'localhost' PASSWORD EXPIRE NEVER;
flush privileges;

然後退出後即可用新密碼登入。

遠端連線授權：

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'your password' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'113.201.130.51' IDENTIFIED BY 'your password' WITH GRANT OPTION;

遇到一點小問題

tip: 沒有 ifconfig

ifconfig 命令適用用 GUI系統，在mini版的Centos 中我們可以使用其他命令代替

ip addr

2. 當然，我們也可以通過yum 來安裝 ifconfig命令

   yum install net-tools

注：如果遇到錯誤提示 Could not resolve host: centos.ustc.edu.cn;

按此解決： https://blog.csdn.net/jasonhector/article/details/78657532