CDH 5.12.0 中使用 spark 2.4.2
CDH 5.12.0 默認spark使用1.6.0，雖然spark 1.6.0支持DataFrame，但顯得有點版本過舊。需要在cdh 5.12中使用spark 2.X版本，網上搜索了一圈，基本都是都是通過parcels方式進行安裝，官方也推薦這種方式。本人比較懶，所以就想Apache spark原生版本是否直接支持CDH呢？經過測試完美支持。簡單記錄一下步驟：
1、下載原生apache spark 2.4.2版本，直接解壓即可。
2、設置環境變量HADOOP_CONF_DIR和YARN_CONF_DIR，建議在/etc/profile.d/目錄下創建文件，如spark.sh。source /etc/profile.d/spark.sh直接生效。
3、為了支持對hive進行讀寫，復制hive-site.xml到conf目錄。cd /etc/hive/conf/hive-site.xml /usr/local/spark-2.4.2/conf/。
4、驗證是否成功執行。
CDH 5.12.0 中使用 spark 2.4.2
相關推薦
CDH 5.12.0 中使用 spark 2.4.2
data 支持 source dir 復制 con 方式 dataframe 進行 CDH 5.12.0 默認spark使用1.6.0，雖然spark 1.6.0支持DataFrame，但顯得有點版本過舊。需要在cdh 5.12中使用spark 2.X版本，網上搜索了一圈，
CentOS 7.3 CDH 5.10.0 Druid0.12.4安裝記錄
文件夾權限 zxvf crypt 用戶 卸載 文件夾 check PE 0.11 CentOS 7.3 CDH 5.10.0安裝記錄 0. 集群規劃192.167.1.247 realtime247 realtime+hadoopdata192.167.1.24
web.xml & web-fragment.xml (Servlet 2.3, 2.4, 2.5 + 3.0)模板
div location log javaee mls schema ins pub too 轉自：http://jlcon.iteye.com/blog/890964 web.xml v2.3 Xml代碼 <?xml version="1.0" en
Spark升級--在CDH-5.15.1中添加spark2
info 添加 處的 align gen hist yarn memory document 一、環境準備 jdk-1.8+scala-2.11.X+python-2.7 二、創建目錄 mkdir -p /opt/cloudera/csd 修改權限 chown
Cloudera CDH 5.1版本的Hive與LDAP-2.4.44整合
1.安裝LDAP-2.4.44 [[email protected] openldap]# vim /etc/openldap/slapd.d/cn=config/olcDatabase\
不同版本 2 3 2 4 2 5 3 0 的Servlet web xml 頭資訊
web.xml v2.3 Xml程式碼 <?xml version="1.0" encoding="ISO-8859-1"?> <!DO
CDH 5.3.0 一個小任務運行了12個小時的原因。
2015-09-13 00:02:51,433 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Ramping down all scheduled reduces:0 2
cdh-5.10.0搭建安裝
touch 時間 fec nod tro tools.jar lines png har 1.修改主機名為master, slave1, slave2 vim /etc/sysconfig/network HOSTNAME = master HOSTNAME = s
Public key for ambari-server-2.4.2.0-136.x86_64.rpm is not installed
pki 再次 lease ambari 提示 etc rpm-gpg jenkins centos 提示;# rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release 就是導入這個安裝包的key 可以使用http的協議
ASP.net core 2.0.0 中 asp.net identity 2.0.0 的基本使用（一）
使用 相對路徑 註意 apps 模型視圖 hand getc 技術分享 star 開發環境：vs2017 版本：15.3.5 項目環境：.net framework 4.6.1 模板asp.net core 2.0 Web應用程序（模型視圖控制器） 身份
Ext3 Functhion擴展的5個實例方法 p135 4.2.7.6
src blog 技術分享 mage alt 圖片 img com 4.2 Ext3 Functhion擴展的5個實例方法 p135 4.2.7.6
18.5.12 c++選做題#4
AR 構造函數 提示 OS [] his set truct 引用 4:自己實現bitset 描述程序 填空，實現一個類似STL bitset的 MyBitset, 輸出指定結果 #include <iostream> #include <cs
CDH5.12.0 中擴容增加計算節點
CDH5.12.0 CDH5.12.0 環境的擴容 CDH5.12.0 中擴容增加計算節點
CDH 5.7.0安裝，cm agent無法啟動
unable 啟動 mkdir failed python cati inf manager parcel 我們在部署完CDH 5.7.0和CM 5.7.0後，開始啟動CM Agent，但是會出現下面的錯誤：# cloudera-scm-agent startStarti
MySQL 5.7 Reference Manual】15.4.2 Change Buffer（變更緩衝）
15.4.2 Change Buffer（變更緩衝） The change buffer is a special data structure that caches changes to secondary index pages when affected pages are
手把手部署CDH(5.12.1)完全離線模式安裝超級詳細攻略
前言 搭建小型BI大資料計算叢集，由於資源有限（你懂的）部署的模式為CDH官方建議的最低配版本，沒有配備HA，（我們還是相信惠普的伺服器 此處手動滑稽）。 CDH背景 CDH (Cloudera's Distribution, including Apache Hado
5.12 陣列中兩個字串的最小距離
【題目】： 給定一個字串陣列strs，再給定兩個字串str1和str2，返回在strs中str1和str2的最小距離，如果str1或str2為null，或不在strs中，返回-1 舉例： strs=["1", "3", "3", "3", "2", "3", "1"]，str1="1"，
【MySQL 5.7 Reference Manual】15.4.2 Change Buffer（變更緩衝）
15.4.2 Change Buffer（變更緩衝） The change buffer is a special data structure that caches changes to secondary index pages when affected pages are
解決Ubuntu18.04下Qt 5.12.0無法輸入中文的問題
解決辦法 進入到 /usr/lib/x86_64-linux-gnu/qt5/plugins/platforminputcontexts 目錄下， 把 libfcitxplatforminputcontextplugin.so 檔案 拷貝到QT安裝目
Ubuntu 12 04安裝Redmine 2 4 2
官方安裝文件參考：首先安裝MySQL, 參考：建立Redmin資料庫和使用者mysql -u root -p CREATE DATABASE redmine CHARACTER SET utf8;CREATE USER 'redmine'@'localhost' IDENTIF