Spark專案之環境搭建(單機)二 hive-2.3.3安裝
阿新 • • 發佈:2018-12-25
上傳hive架包,然後解壓:
tar -zxf apache-hive-2.3.3-bin.tar.gz hive
重新命名
mv apache-hive-2.3.3-bin hive
將mysql的驅動包加入hive的lib檔案下面
進入hive目錄下的conf
cd /home/hive/conf/
把初始化的檔案 複製一份出來 並且改名
cp hive-env.sh.template hive-env.sh cp hive-default.xml.template hive-site.xml cp hive-log4j2.properties.template hive-log4j2.properties cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
修改hive-env.sh
#jdk
export JAVA_HOME=/home/jdk
#hadoop
export HADOOP_HOME=/home/hadoop
#hive
export HIVE_HOME=/home/hive
在hdfs 中建立下面的目錄 ,並且授權
hdfs dfs -mkdir -p /user/hive/warehouse hdfs dfs -mkdir -p /user/hive/tmp hdfs dfs -mkdir -p /user/hive/log hdfs dfs -chmod -R 777 /user/hive/warehouse hdfs dfs -chmod -R 777 /user/hive/tmp hdfs dfs -chmod -R 777 /user/hive/log
修改hive-site.xml
vi hive-site.xml
將 hive-site.xml 檔案中以下幾個配置項的值設定成上一步中建立的幾個路徑。
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/user/hive/tmp</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/user/hive/log</value>
</property>
建立tmp檔案,然後在配置檔案 hive-site.xml 裡面
把{system:java.io.tmpdir} 改成 /home/hive/tmp/
把 {system:user.name} 改成 {user.name}
mkdir /home/hive/tmp
javax.jdo.option.ConnectionUserName:你資料庫的名稱
javax.jdo.option.ConnectionPassword:你資料庫的密碼
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
配置環境變數
vi /etc/profile
#hive
export HIVE_HOME=/home/hive
export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
然後儲存,執行一下命令使其生效
source /etc/profile
從 Hive 2.1 版本開始, 我們需要先執行 schematool 命令來執行初始化操作。
schematool -dbType mysql -initSchema
先啟動hadoop,然後輸入 hive
hive