Linux Crontab執行hadoop命令指令碼失敗
最近在寫一個Hadoop系列操作的排程指令碼,由crontab排程執行。指令碼單獨執行沒有任何問題,但是一旦執行hadoop相關操作,如hive、Hadoop相關命令,就莫名其妙的失敗。查了很多資料,後來才發現是環境變數的問題,需要在指令碼中新增“source /etc/profile”命令,對於具有多個使用者不同配置的系統,則新增source ~/.base_profile。經過測試,果然有效。
此外,還需要注意的地方有:
1、在crontab排程器中,在指令碼前加不加sh 都沒有影響。
2、在所有指令碼中批量新增“source /etc/profile " 的方法: sed -i -e "/bin\/bash/asource \/etc\/profile" 。 如果是新增多行,可以用'\n' 連線相應的命令。
相關推薦
Linux Crontab執行hadoop命令指令碼失敗
最近在寫一個Hadoop系列操作的排程指令碼,由crontab排程執行。指令碼單獨執行沒有任何問題,但是一旦執行hadoop相關操作,如hive、Hadoop相關命令,就莫名其妙的失敗。查了很多資料,後來才發現是環境變數的問題,需要在指令碼中新增“source /et
linux crontab執行指令碼中文亂碼問題
在linux中寫了個定時指令碼,其中包含中文字元。指令碼手動執行一切正常,但是使用crontab執行後發現日誌中應該出現中文的地方全是???等亂碼。 分析出原因肯定是環境變數的問題。因為Unix/Linux下使用crontab時的執行環境已經不是使用者環境了,因此原本使用者下的一些環境變數的設
linux crontab執行shell指令碼中包含相對路徑的問題
例項一 test.sh檔案 echo `date`>test.log 配置crontab 設定 */1 * * * * sh /data/test.sh 在/data/目錄下,未找到test.log檔案,重啟了crontab服務,service cronb rest
Linux定時執行任務命令:at和crontab
本文介紹在Linux下的兩種定時執行任務的方法:at命令,以及crontab服務。 (1)at命令 假如我們只是想要讓特定任務執行一次,那麼,這時候就要用到at監控程式了。 設定at命令很簡單,指示定執行的時間,那麼就會在哪個時候執行。at類似列印 程序,會把任務放
php在linux中執行外部命令
-type nbsp 指令 一行 scrip 自己 edi 混亂 int 目錄:一、PHP中調用外部命令介紹二、關於安全問題三、關於超時問題四、關於PHP運行linux環境中命令出現的問題一、PHP中調用外部命令介紹在PHP中調用外部命令,可以用,1>調用專門函數、2
Linux crontab 定時任務命令詳解
-1 data new ubuntu 時間間隔 服務 run back use Linux Crontab 定時任務 命令詳解 [日期:2016-02-13] 來源:Linux社區 在工作中需要數據庫在每天零點自動備份所以需要建立一個定時任務.我選擇在Linux下使用
Windows環境下執行hadoop命令出現Error: JAVA_HOME is incorrectly set Please update D:SoftWarehadoop-2.6.0confhadoop-env.cmd錯誤的解決辦法(圖文詳解)
scala software ksum cal .com from 問題 jdk sun 不多說,直接上幹貨! 導讀 win下安裝hadoop 大家,別小看win下的安裝大數據組件和使用 玩過dubbo和disc
Ubuntu更新源執行update命令仍失敗的解決辦法!!
解決步驟: 1.用編輯器開啟resolv.conf vi /etc/resolv.conf 改為如下內容: search localdomain nameserver 8.8.8.8 //希望修改成的DNS nameserver 8.8.6.6 //備用的DNS  
Linux下執行Hadoop WordCount.jar
Linux執行 Hadoop WordCount ubuntu 終端進入快捷鍵 :ctrl + Alt +t hadoop啟動命令:start-all.sh 正常執行效果如下: [email protected]:~$ start-all.sh Warning
linux crontab定時任務命令的介紹
1、簡介: linux中crontab命令是在一定的時間自動呼叫一些命令的執行 2、crontab語法: crontab [-u user] file crontab [-u user] [ -e | -l | -r ] (default operation is repla
crontab執行expdp命令無效
redhat系統使用oracle使用者寫了如下指令碼,匯出oracle資料庫,按照日期命名 #!/bin/sh BACKUPTIME=$(date +%Y%m%d) expdp cem/[email protected] directory=DATA_PU
Linux上執行ActiveMQ命令
進入到linux中安裝ActiveMQ的位置,cd ../apache-activemq-5.15.2/bin activemq啟動分linux-x86-32和linux-x86-64 進入bin/linux-x86-64下: cd linux-x86-64/ 啟動
安裝12.1.0.2 叢集GRID/GI, 執行root.sh 指令碼失敗的案例
在Linux系統上安裝12.1.0.2 叢集GRID/GI軟體,節點2執行root.sh失敗,螢幕的錯誤資訊: OLR initialization - successful 2015/12/15 13:16:55 CLSRSC-507: The root script c
grid軟體,執行root.sh指令碼失敗,解決辦法
原帖地址:http://www.vydbs.com/failed-executing-root-sh-ohasd-start-the-solution/ 在Red Hat 6.2上安裝Oracle grid 11.2.0.1,執行root.sh指令碼的時候出現一些問題,無法啟動ohasd。 由於Redhat
linux下執行常用命令出現:command not found
在 linux 下執行類似與 ls、ll、vim 等命令時出現 command not found,並且執行 source /etc/profile 出現 bash: id: command n
Crontab執行Tomcat開關機失敗解決
1.問題描述 由於部署Apache和Tomcat進行均衡負載的原因,導致Tomcat每天都進行重啟,這樣JK過來的請求Tomcat才會處理。 我採用crontab對Tomcat進行定時開關機 # cr
如何以hdfs的使用者來執行hadoop命令
當hadoop叢集中加上許可權管理後,即使是linux的root使用者也不能擁有最高許可權了,因為hdfs的管理員是hdfs,那麼問題來了,怎麼在命令列呼叫hdfs的命令呢? 開啟檢查 HDFS 許可權 dfs.permissions 設定為true 建立目錄 su
解決命令列執行shell指令碼成功,但crontab執行失敗
命令列執行指令碼成,但crontab執行shell指令碼不成功是由於兩個原因導致 解決方法 1. 路徑問題 檢視crontab中執行該指令碼的路徑是否正確。例如: */1 * * * * cd /mypath/;./my_shell.sh > /d
linux定時執行命令指令碼——crontab
Linux中,週期執行的任務一般由cron這個守護程序來處理 ps -ef | grep cron cron讀取一個或多個配置檔案,這些配置檔案中包含了命令列及其呼叫時間。cron的配置檔案稱為“crontab”,是“cron table”的簡寫。一、 cron在3個地方查
解決命令行執行shell腳本成功,但crontab執行失敗
ges config 腳本監控 由於 data 路徑 amp 導致 bsp 實際生產案例 生產機房自建PPTP客戶端通過撥號連接到生產機房,但是一旦客戶端網絡是意外斷線再重新撥號 會產生IP沖突,於是寫了一個腳本監控PPTP的IP是否有多個(一般沖突以後會生成2個IP)