1. 程式人生 > >關於MapReduce,Map能完全執行,Reduce執行到一半卡住不執行

關於MapReduce,Map能完全執行,Reduce執行到一半卡住不執行

卡住了幾個小時,死活停滯不前,發現後根據提示開始排錯,進入50030,進入作業發現

這說明作業在map之完後的shuffle階段中,reduce無法從map處拷貝資料,是因為客戶端與資料節點通訊失敗造成的。客戶端程式應該能夠和所有的節點通訊才能保證資料的傳輸正常,然後開始各種檢查:所有節點hosts中寫的完全相通,不是節點名稱不同或者節點沒有完全加上造成的,排除;找到slaves發現寫的也完全相同,不是節點缺失有誤,最後查看了防火牆的狀態,發現其中一個節點的防火牆沒有關閉,找到原因,service iptables stop,然後重新提交作業,成功執行