1. 程式人生 > >linux系統MySQL的安裝和hive叢集安裝詳細步驟及講解

linux系統MySQL的安裝和hive叢集安裝詳細步驟及講解

此安裝步驟是多年經驗總結,一定要嚴格按照步驟進行,一定要細心!!!
MySQL的安裝是重中之重!!!出現錯誤很難修改!!!
另外安裝命令不要複製!!!自己手敲!!!不要複製!!!複製可能導致出錯!!!
空格,小數點要格外注意,都不能少

一、先刪除Linux自帶的MySQL

	1、找到自帶的MySQL
		[[email protected] ~]# rpm -qa |grep mysql
		結果:mysql-3.1.14-linux-glibc2.5-x86_64 (如果沒有查到任何結果,忽略下面步驟,直接
		執行第二大步)
	2、刪除自帶的MySQL
		rpm -e --nodeps mysql-libs-3.1.14-1.el6.x86_64

二、新增依賴安裝包

	分別執行下面命令:
		yum search libaio
		yum install libaio

三、安裝MySQL

	1、useradd -r -g mysql -s /bin/false mysql (其中-s /bin/false表示mysql使用者不能當系統登入使用者)
	2、cd /usr/local
	3、rz      (將下載好的MySQL壓縮包上傳到Linux上)
	4、解壓:tar zxvf mysql-5.7.14-linux-glibc2.5-x86_64.tar.gz
	5、建立軟連線:ln -s mysql-5.7.14-linux-glibc2.5-x86_64 mysql
	6、cd mysql             		(6-10步驟是建立目錄,修改許可權)
	7、mkdir mysql-files
	8、chmod 750 mysql-files
	9、chown -R mysql .       (空格,小數點不要忘了)
	10、chgrp -R mysql .         (空格,小數點不要忘了)
	11、如果你的mysql版本低於5.7.6執行:bin/mysql_install_db --user=mysql
	    如果你的mysql版本高於5.7.6執行:
	    	bin/mysqld --initialize --user=mysql
	    	bin/mysql_ssl_rsa_setup 
	    #注意此步驟執行完之後會生成隨機密碼,要記住隨機密碼
	    然後執行:chown -R root .
				chown -R mysql data mysql-files
	12、
		bin/mysqld_safe --user=mysql &
		加入服務
		cp support-files/mysql.server /etc/init.d/mysql.server
	13、新增環境變數:
		vi /etc/profile
		export MYSQL_HOME=/usr/local/mysql
		export PATH=$PATH:$MYSQL_HOME/bin
		儲存並使其生效
		. /etc/profile
	14、登入mysql
			mysql -uroot –p
			輸入隨機密碼
	15、修改初始密碼
			SET PASSWORD = PASSWORD('123456');
	16、進入mysql開啟遠端訪問
			GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
			flush privileges;
	17、將mysql加入開機啟動服務
			chkconfig --add mysql.server
			chkconfig mysql.server on

四、安裝hive

		1、cd /usr   -->   mkdir tools  -->   cd tools   --> rz  (上傳hive壓縮包:apache-hive-2.0.0-bin.tar.gz)
		2、解壓:tar –zxvf apache-hive-2.0.0-bin.tar.gz
		3、新增到環境變數
			編輯:vi /etc/profile
			新增:
			#hive
			export HIVE_HOME=/usr/tools/apache-hive-2.0.0-bin
			export PATH=$PATH:$HIVE_HOME/bin
			儲存後使其生效:
			source /etc/profile

五、配置hive

	1、在hdfs中新建目錄/user/hive/warehouse
	hdfs dfs –mkdir /tmp
	hdfs dfs –mkdir /user
	hdfs dfs –mkdir /user/hive
	hdfs dfs –mkdir /user/hive/warehouse
	(如果/tmp和/user已存在忽略對應的步驟)
	2、將mysql的驅動jar包mysql-connector-java-5.1.7-bin.jar拷入hive的lib目錄下面
		rz     (上傳:mysql-connector-java-5.1.7-bin.jar)
		**驅動jar包mysql-connector-java-5.1.7-bin.jar,可以去maven的本地倉庫去找一般在
		C:users/admin/.m2/repository/mysql      版本號無礙哪個都行**
	3、進入hive的conf目錄下面複製一下hive-default.xml.template名子命名為:hive-site.xml
		cp hive-default.xml.template hive-site.xml
		vi hive-site.xml
		修改:(屬性比較多,最好通過命令查詢,再修改)
			<property>
			    <name>javax.jdo.option.ConnectionURL</name>
			    <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true</value>
			    <description>JDBC connect string for a JDBC metastore</description>
				  </property>
				  <property>
				    <name>javax.jdo.option.ConnectionDriverName</name>
				    <value>com.mysql.jdbc.Driver</value>
				    <description>Driver class name for a JDBC metastore</description>
				  </property>
				  <property>
				    <name>javax.jdo.option.ConnectionUserName</name>
				    <value>root</value>
				    <description>Username to use against metastore database</description>
				  </property>
				  <property>
				    <name>javax.jdo.option.ConnectionPassword</name>
				    <value>123456</value>
				    <description>password to use against metastore database</description>
				  </property>
				  
				  <property>
				    <name>hive.exec.local.scratchdir</name>
				    <value>/usr/tools/apache-hive-2.0.0-bin/tmp</value>
				    <description>Local scratch space for Hive jobs</description>
				  </property>
				  <property>
				    <name>hive.downloaded.resources.dir</name>
				    <value>/usr/tools/apache-hive-2.0.0-bin/tmp/resources</value>
				    <description>Temporary local directory for added resources in the remote file system.</description>
				  </property>
				  <property>
				    <name>hive.querylog.location</name>
				    <value>/usr/tools/apache-hive-2.0.0-bin/tmp</value>
				    <description>Location of Hive run time structured log file</description>
				  </property>
				  <property>
				    <name>hive.server2.logging.operation.log.location</name>
				    <value>/usr/tools/apache-hive-2.0.0-bin/tmp/operation_logs</value>
				    <description>Top level directory where operation logs are stored if logging functionality is enabled</description>
				  </property>
	4、使用schematool 初始化metastore的schema:
			schematool -initSchema -dbType mysql 

六、執行

		hive
		show databases;
		結果s最後一行是:Time taken: 10.484 seconds, Fetched: 1 row(s)即成功!