1. 程式人生 > >LINUX下安裝HPL/SQL

LINUX下安裝HPL/SQL

使用 water www. 2.4.0 下載地址 ges nal partition java

環境要求:
Java 1.6 及以上版本
Hadoop 1.x 或 2.x版本

本例環境信息:
Linux version:CentOS release 6.8 (Final)
Hadoop version:hdp 2.4.0.0-169
Java version:jre-1.8.0-openjdk.x86_64

下載hpl/sql安裝包
下載地址:http://www.hplsql.org/download
下載完成後上傳到linux平臺
解壓安裝包並安裝到/opt:
tar -zvxf hplsql-0.3.31.tar.gz -C /opt
ln -s /opt/hplsql-0.3.31 /opt/hplsql

解壓後包含以下文件

? hplsql
? hplsql.cmd
? hplsql-x.x.x.jar
? hplsql-site.xml
? antlr-runtime-4.5.jar
技術分享圖片

修改權限:
Chmod +x /opt/hplsql

配置CLASSPATH
Cd /opt/hplsql
Vi hplsql

如果是hadoop為CDH
刪除hplsql文件中所有的export “HADOOP_CLASSPATH=…”
添加export “HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*”

如果是hadoop為HDP
檢查/usr/hdp/x.x.x.x-x目錄,並修改hplsql文件中所有的export “HADOOP_CLASSPATH=…”路徑為/usr/hdp/x.x.x.x-x對應的路徑。

技術分享圖片

其他版本的hadoop,請檢查/usr/lib下是否有hadoop的jars,並在phlsql文件做對應的修改。

測試是否安裝成功
/opt/hplsql –version

Cd /opt/hplsql
./hplsql –version
技術分享圖片

如果以上命令能返回hplsql的版本信息,則表示安裝成功。

添加hplsql到PATH變量
Export PATH=$PATH:/opt/hplsql

設置PATH後就可以直接通過hplsql命令調用HPL/SQL
Hplsql <option>
技術分享圖片
配置
Cd /opt/hplsql
Vi hplsql-site.xml
修改
<property>
<name>hplsql.conn.init.hive2conn</name>

<value></value>
</property>

為:
<property>
<name>hplsql.conn.init.hive2conn</name>
<value>
Set mapred.job.queue.name=dev;
Set hive.execution.engine=mr;
Use sales_db;
</value>
</property>

運行HPL/SQL
Hplsql -e “CURRENT_DATE+1”
Hplsql -e “SELECT * FROM src LIMIT 1”
Hplsql -f script.sql

技術分享圖片

在shell腳本中使用HPL/SQL
從HPL/SQL腳本中獲取一個值
MDATE=$(hplsql -e “NVL(MIN_PARTITION_DATE(sales,local_dt,code=’A’),’1970-01-01’)”)
START=$(hplsql -e ‘CURRENT_DATE – 1’)

LINUX下安裝HPL/SQL