1. 程式人生 > >presto叢集安裝並集合

presto叢集安裝並集合

環境 presto 版本 presto-server-0.203.tar.gz cdh CDH5.13

1.在Presto官網下載presto-server-0.203.tar.gz安裝包

2.解壓 壓縮包 解壓路徑為tar -zxvf presto-server-0.203.tar.gz -C /opt/cloudera/parcels/presto

3.為presto-server-0.205建立persto軟連結 # ln -s presto-server-0.203 presto

4…在/opt/cloudera/parcels/presto/bin/launcher檔案如下位置新增JAVA環境變數(本人1,8)

JAVA_HOME=/usr/java/jdk1.8.0_131 PATH=JAVAHOME/bin:JAVA_HOME/bin:PATH

開啟 presto cd presto 新建 etc 配置檔案路徑 mkdir etc

本人選擇 Coordinator 和 Worker 在同一個節點方式部署

配置檔案為

在這裡插入圖片描述

其中 主節點 config 配置為 coordinator=true node-scheduler.include-coordinator=true http-server.http.port=10808 query.max-memory=32GB query.max-memory-per-node=16GB discovery-server.enabled=true discovery.uri=http://192.168.1.89:10808

jvm 配置為

-server -Xmx60G -XX:+UseConcMarkSweepGC -XX:+ExplicitGCInvokesConcurrent -XX:+CMSClassUnloadingEnabled -XX:+AggressiveOpts -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p -XX:ReservedCodeCacheSize=150M -Djava.library.path=/opt/cloudera/parcels/GPLEXTRAS-5.13.0-1.cdh5.13.0.p0.29/lib/hadoop-0.20-mapreduce/lib/native -DHADOOP_USER_NAME=hdfs

log 配置為

com.facebook.presto=INFO

node 配置為

node.environment=prestocluster node.id=presto-01 node.data-dir=/data0/presto

從幾點 node 和 config 有差異

config 為

coordinator=false http-server.http.port=10808 query.max-memory=32GB query.max-memory-per-node=16GB discovery.uri=http://192.168.1.89:10808

node 為

node.environment=prestocluster node.id=presto-02 node.data-dir=/data0/presto

其他從節點類似

所有節點在 catalog 下 配置hive.properties

配置為 connector.name=hive-hadoop2 hive.metastore.uri=thrift://192.168.1.96:9083 hive.config.resources=/etc/hive/conf/core-site.xml,/etc/hive/conf/hdfs-site.xml hive.allow-drop-table=false hive.allow-rename-table=false hive.allow-add-column=false hive.allow-rename-column=false

注意 其中各個配置含有路徑 都為本地 ,請確定本地路徑下存在如此的檔案

在每個節點的 presto 的lib 下 新增 下面的包 (根據cdh 版本)

在這裡插入圖片描述

且在每個節點 修改 此包的版本為 一下

在這裡插入圖片描述

在每個節點 /presto/plugin/hive-hadoop2 下 新增 (根據自己cdh )

在這裡插入圖片描述