linux系統MySQL的安裝和hive叢集安裝詳細步驟及講解
阿新 • • 發佈:2018-11-09
此安裝步驟是多年經驗總結,一定要嚴格按照步驟進行,一定要細心!!!
MySQL的安裝是重中之重!!!出現錯誤很難修改!!!
另外安裝命令不要複製!!!自己手敲!!!不要複製!!!複製可能導致出錯!!!
空格,小數點要格外注意,都不能少
一、先刪除Linux自帶的MySQL
1、找到自帶的MySQL [[email protected] ~]# rpm -qa |grep mysql 結果:mysql-3.1.14-linux-glibc2.5-x86_64 (如果沒有查到任何結果,忽略下面步驟,直接 執行第二大步) 2、刪除自帶的MySQL rpm -e --nodeps mysql-libs-3.1.14-1.el6.x86_64
二、新增依賴安裝包
分別執行下面命令:
yum search libaio
yum install libaio
三、安裝MySQL
1、useradd -r -g mysql -s /bin/false mysql (其中-s /bin/false表示mysql使用者不能當系統登入使用者) 2、cd /usr/local 3、rz (將下載好的MySQL壓縮包上傳到Linux上) 4、解壓:tar zxvf mysql-5.7.14-linux-glibc2.5-x86_64.tar.gz 5、建立軟連線:ln -s mysql-5.7.14-linux-glibc2.5-x86_64 mysql 6、cd mysql (6-10步驟是建立目錄,修改許可權) 7、mkdir mysql-files 8、chmod 750 mysql-files 9、chown -R mysql . (空格,小數點不要忘了) 10、chgrp -R mysql . (空格,小數點不要忘了) 11、如果你的mysql版本低於5.7.6執行:bin/mysql_install_db --user=mysql 如果你的mysql版本高於5.7.6執行: bin/mysqld --initialize --user=mysql bin/mysql_ssl_rsa_setup #注意此步驟執行完之後會生成隨機密碼,要記住隨機密碼 然後執行:chown -R root . chown -R mysql data mysql-files 12、 bin/mysqld_safe --user=mysql & 加入服務 cp support-files/mysql.server /etc/init.d/mysql.server 13、新增環境變數: vi /etc/profile export MYSQL_HOME=/usr/local/mysql export PATH=$PATH:$MYSQL_HOME/bin 儲存並使其生效 . /etc/profile 14、登入mysql mysql -uroot –p 輸入隨機密碼 15、修改初始密碼 SET PASSWORD = PASSWORD('123456'); 16、進入mysql開啟遠端訪問 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; flush privileges; 17、將mysql加入開機啟動服務 chkconfig --add mysql.server chkconfig mysql.server on
四、安裝hive
1、cd /usr --> mkdir tools --> cd tools --> rz (上傳hive壓縮包:apache-hive-2.0.0-bin.tar.gz) 2、解壓:tar –zxvf apache-hive-2.0.0-bin.tar.gz 3、新增到環境變數 編輯:vi /etc/profile 新增: #hive export HIVE_HOME=/usr/tools/apache-hive-2.0.0-bin export PATH=$PATH:$HIVE_HOME/bin 儲存後使其生效: source /etc/profile
五、配置hive
1、在hdfs中新建目錄/user/hive/warehouse
hdfs dfs –mkdir /tmp
hdfs dfs –mkdir /user
hdfs dfs –mkdir /user/hive
hdfs dfs –mkdir /user/hive/warehouse
(如果/tmp和/user已存在忽略對應的步驟)
2、將mysql的驅動jar包mysql-connector-java-5.1.7-bin.jar拷入hive的lib目錄下面
rz (上傳:mysql-connector-java-5.1.7-bin.jar)
**驅動jar包mysql-connector-java-5.1.7-bin.jar,可以去maven的本地倉庫去找一般在
C:users/admin/.m2/repository/mysql 版本號無礙哪個都行**
3、進入hive的conf目錄下面複製一下hive-default.xml.template名子命名為:hive-site.xml
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
修改:(屬性比較多,最好通過命令查詢,再修改)
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>Username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/tools/apache-hive-2.0.0-bin/tmp</value>
<description>Local scratch space for Hive jobs</description>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/tools/apache-hive-2.0.0-bin/tmp/resources</value>
<description>Temporary local directory for added resources in the remote file system.</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/tools/apache-hive-2.0.0-bin/tmp</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/usr/tools/apache-hive-2.0.0-bin/tmp/operation_logs</value>
<description>Top level directory where operation logs are stored if logging functionality is enabled</description>
</property>
4、使用schematool 初始化metastore的schema:
schematool -initSchema -dbType mysql
六、執行
hive
show databases;
結果s最後一行是:Time taken: 10.484 seconds, Fetched: 1 row(s)即成功!