前言

• 大資料 基礎概念
• 大資料 Centos基礎
• 大資料 Shell基礎
• 大資料 ZooKeeper
• 大資料 Hadoop介紹、配置與使用
• 大資料 Hadoop之HDFS
• 大資料 MapReduce
• 大資料 Hive
• 大資料 Yarn
• 大資料 MapReduce使用
• 大資料 Hadoop高可用HA

介紹

Shell 是用來解決什麼問題的？ - 偉哥-Wayne的回答 - 知乎

Linux的命令列介面歸結起來就是各種Shell，那麼到底什麼是Shell？

Shell就是一個命令列直譯器，它的作用是解釋執行使用者的命令，使用者輸入一條命令，Shell就解釋執行一條，這種方式稱為互動式(Interactive)。

Shell，譯為外殼，是使用者直接連入計算機所使用的計算機程式，負責解析使用者提供的命令，如詞法分析、語法分析、句法分析。

完整教程

• Shell 教程

Shell執行方式

1. ./test.sh
2. sh test.sh
3. source test.sh

方式1和方式2其實是一樣的，都是在當前父程序下的子程序中執行，子程序執行結束之後，子程序中的變數和操作將會結束而且不會傳回到父程序中。

換句話說，方式1和方式2是作用於子程序本身，方式3則作用於整個父程序。

Shell變數

檢視系統變數可以使用set命令檢視。

變數的宣告採用的是變數名=值的方式定義，而且等號的左右不能有空格，否則報錯，變數名稱一般習慣採用大寫。

在定義變數的時候，雙引號是允許格式化字串，比如Hello World！$USERNAME輸出結果為Hello World！Linux。而單引號禁止格式化字串，即Hello World！$USERNAME輸出結果為Hello World！$USERNAME。

• 雙引號的優點：
  • 雙引號裡可以出現轉義字元
  • 雙引號裡可以有變數
• 單引號的限制：
  • 單引號裡的任何字元都會原樣輸出，單引號字串中的變數是無效的；
  • 單引號字串中不能出現單獨一個的單引號（對單引號使用轉義符後也不行），但可成對出現，作為字串拼接使用。

系統變數可以使用unset 變數名撤銷。

如果想要把一個變數升級為全域性環境變數，可以採用export關鍵字來提升。

如果希望變數只讀，可以使用readonly關鍵字宣告，比如readonly 變數名。

特殊變數替換

Shell運算子

獲取執行結果

• what=`ls -al`
  • 執行ls -al並將執行結果賦值給變數what。
• what=$(ls -al)
  • 同上，注意：$()是賦值操作。
• expr，可以使用expr表示式計算表示式的結果。
  • 注意：expr表示式後面的運算子和變數都需要用空格分隔。
  • 例如計算 $(3+4)×12$【僅僅支援整數運算】
    • a=`expr 3 + 4` * 12
    • 等價於a=$(((3+4)*12))
    • 注意：$(())用於表示式結果計算，必須是雙重小括號。

引數傳遞

流程控制

shell for

# !/bin/bash

# 多層迴圈
for N in 1 2 3
do 
  echo $N
done

# 單行顯示
for N in 1 2 3; do echo $N; done

# 當行顯示
for N in {1..3};do echo $N; done

for ((i=0;i<=5;i++))
do
  echo $i
done

for ((i=0;i<=5;i++));do echo $i;done;

while迴圈

i=1

while ((i<=3))
do
  echo $i
  let i++
done
unset i

case

case $1 in
  start)
    echo "starting"
    ;;
  stop)
    echo "ending"
    ;;
  *)
    echo "Usage:{start|stop}"
esac

Shell 關係運算符

字串比較

注意：Linux中，true是0，false是1……
說明：執行了舉例中的程式碼後，需要執行echo $?來輸出結果。

注意：表示式需要用中括號包裹起來，而且中間必須使用空格分隔，否則報錯。

檔案操作

說明：執行了舉例中的程式碼後，需要執行echo $?來輸出結果。

Shell函式

注意事項如下

1. 必須在呼叫函式地方之前，先宣告函式，shell指令碼是逐行執行。【解釋型】
2. 函式返回值，只能通過$?系統變數獲得，可以顯示加：return返回；如果不加，將以最後一條命令執行結果，作為返回值。 return後跟數值 $n(0-255)$。

# !/bin/bash

add() {
  temp=$(($1+$2))
  return temp
}

add 11 22
a=$?

echo --------------
echo "11 + 22 = $a"

輸出結果是：

--------------
11 + 22 = 33

Shell除錯

shell的除錯可以在sh 命令後指定引數-vx，比如sh -vx test1.sh。
　　

Shell 高階指令

• cut
• sort
• uniq
• wc
  • -c或--bytes或--chars：只顯示Bytes數；
  • -l或--lines：只顯示列數；
  • -w或--words：只顯示字數。
• sed
• awk

附錄

• Shell教程