1. 程式人生 > >大資料中常用的linux知識

大資料中常用的linux知識

1.mkdir和rmdir命令
mkdir用於建立資料夾,建立資料夾時應確保與它所在的目錄下的沒有同名資料夾。
mkdir A
一次建立多個資料夾:
mkdir B C D
加上-p引數可以建立帶有子目錄的資料夾:
mkdir -p dira/dirb/dirc
刪除目錄:
rmdir abc
遞迴刪除帶有子目錄的資料夾:
rmdir -p dira/dirb/dirc
2.cp命令
cp命令是Linux的拷貝檔案命令. 
拷貝A目錄下的a.txt到B目錄:
cp A/a.txt B/
如果B目錄下已存在a.txt,拷貝前詢問是否覆蓋,加上-i引數:
cp -i A/a.txt B/
overwrite B/a.txt? (y/n [n])
拷貝整個資料夾:
cp -R A B
拷貝前詢問是否覆蓋:
cp -R -i A B
3.mv命令
mv命令常用對檔案或目錄進行移動、檔案重新命名或者備份,mv是move的縮寫。 
把A目錄下的a.txt移動到B資料夾下:
mv A/a.txt B
如果B目錄下已經存在同名檔案,詢問是否備份:
 mv -i A/a.txt B
 overwrite B/a.txt? (y/n [n]) 
重新命名操作,把a.txt改名為a1.txt:
mv A/a.txt A/a1.txt
把A目錄下的所有檔案移到B:
mv A/* B
4.rm命令
rm命令用於刪除檔案或者目錄,可以刪除一個目錄下的一個或多個檔案或目錄,也可以刪除整個目錄及其下的所有檔案和子目錄。rm是remove的縮寫。rm是一個危險命令,使用的時候要特別小心,在執行rm之前要確認所在目錄以及要刪除的操作,不要誤刪。 
刪除一個檔案:
rm A/a.txt
刪除不為空的資料夾:
rm -r A/B
刪除前詢問:
rm -i A/a.txt
5.cat命令
cat命令的用途是連線檔案或者標準輸入並列印,該命令常用來顯示檔案內容,或者將幾個檔案連線起來顯示。cat有三大功能
一次顯示整個檔案:
cat filename     
從鍵盤建立一個檔案
cat >filename
將幾個檔案合併為1個檔案
cat file1 file2>file
6.tac命令
cat命令可以顯示檔案的內容,它反過來寫就是tac,而tac恰巧也是一個Linux命令,它的功能就是把檔案內容反過來顯示,檔案內容的最後一行先顯示,第一行最後顯示。
7.more命令
cat命令會顯示整個檔案的內容,more命令會一頁一頁的顯示方便閱讀。按空白鍵(space)顯示下一頁,b鍵會返回前一頁。
more filename
命令引數:
+n:從第n行開始顯示
-n:定義螢幕大小為n行
-c:從頂部清屏然後顯示
8.head命令
head命令用於顯示文件的開頭至標準輸出。 
顯示檔案的前6行:
head -n 6   filename
顯示檔案前n個位元組的內容:
head -c 20   filename
9.tail命令
tail和head類似,只不過是從尾部顯示檔案內容. 
顯示檔案的最後10行:
t或者:
tail -n 10 filenameail -10 filename
10.chown命令
chown命令用於設定檔案的所有者屬性。 
把檔案的所有者改為root帳號:
chown root filename
把資料夾的所有者改為root帳號:
chown -R root A
11.find命令
檔案查詢命令。 
找出當前目錄下所有的.txt格式檔案
find  . -name "*.txt" -print
12.grep命令
grep命令是一種強大的文字搜尋工具,使用正則表示式匹配文字並將搜尋結果打印出來. 
從多個檔案中查詢關鍵詞:
grep 'linux' test1.txt test2.txt
找出以h開頭的行內容:
cat test.txt |grep ^h
找出不以h開頭的行內容:
cat test.txt |grep ^[^h]
找出以de結尾的行內容:
cat  test.txt|grep de$
顯示包含he或者sh的行內容:
cat test.txt|grep -E "he|sh"
顯示當前目錄下以.txt結尾且每個字串至少包含7個小寫字母的的行內容:
grep  '[a-z]\{7\}' *.txt
13.重啟
重啟命令:
reboot
立即重啟:
shutdown -r now
10分鐘之後立即重啟:
shutdown -r 10
設定指定時間重啟:
shutdown -r 20:10
如果是通過shutdown命令設定重啟的話,可以用shutdown -c命令取消重啟
14.關機
立刻關機:
halt
或者:
poweroff
或者:
shutdown -h now
10分鐘之後自動關機
shutdown -h 10
如果是通過shutdown命令設定關機的話,可以用shutdown -c命令取消重啟
15.檢視磁碟空間使用情況
df -h
16.根據檔名查詢檔案
sudo find / -name a.txt
17.檢視檔案大小
du -sh *
18.
    壓縮:
gzip:對檔案的最後進行操作,增加/刪除.gz字尾名。
選項:
-d:解壓
-v:壓縮時顯示壓縮比。
-c: 將壓縮的資料輸出到標準輸出(stdout)上 
1..9:1最快,壓縮比最差,9則反之。預設為6.
-t:用來檢查壓縮檔案的資料一致性。
如果想要壓縮時保留原檔案:
gzip -c File > File.gz

zcat 可以檢視被壓縮後的文字檔案。

bzip2:
選項:
-d:解壓
-v:壓縮時顯示壓縮比。
-c: 將壓縮的資料輸出到標準輸出(stdout)上 
1..9:1最快,壓縮比最差,9則反之。預設為6.
-t:用來檢查壓縮檔案的資料一致性。
-z :壓縮的引數(有無均可)
-k :保留原始檔,而不會刪除原始的檔案 
-f :強制執行壓縮/解壓
19.如何安裝:rpm -ivh packageName
-i:安裝
-v:囉嗦模式,顯示軟體安裝的各種資訊。
-h:進度條。

多個安裝包之間使用空格隔開。
網路安裝需要使用正確的網址。
如何解除安裝:rpm -e packageName
rpm -e  jdk-8u111-linux-x64.rpm 會提示解除安裝失敗,因為此包名稱並不是系統中的安裝名稱。
    缺點:RPM軟體包之間的依賴關係,太過於複雜/密切。 20.YUM:通過分析RPM的標頭資料後,根據各軟體的相關性製作出屬性相依時的解決方案,然後可以自動處理軟體的依賴問題,以解決軟體安裝、移除、升級     中遇到的繁瑣操作的問題。
優點:操作簡單,傻瓜式安裝
缺點:yum源的問題。一般系統自帶的yum源(CentOS)。如果想要自己配置一個yum源也比較麻煩。證書問題。

安裝、升級、解除安裝:
yum install/update/remove 
無論在安裝、升級、解除安裝哪一種操作下直接跟-y的話就表示全部過程中的所有確認均執行yes操作。

21.shell指令碼

22.把一個流中所有字元轉換成大寫字元,可以使用下面哪個命令? tr a-z A-Z

23.如何快速切換到使用者John的主目錄下? cd ~John

24.執行一個指令碼,使用者不需要什麼樣的許可權?b  執行指令碼,不需要對指令碼進行寫操作 d:瀏覽目錄
A. read
B. write
C. execute
D. browse on the directory

25.瞭解您在當前目錄下還有多大空間的命令(   ) c
A. Use df    B. Use du /     C. Use du .    D. Use df . 

參考答案:C

26.man 5 passwd 含義是(b   ) 
A. 顯示 passwd 命令的使用方法       B. 顯示 passwd 檔案的結構
C. 顯示 passwd 命令的說明的前五行   D. 顯示關於passwd的前五處說明文件。

參考答案:B

27.對於日期,如果不想手寫的話,可以通過linux的指令來獲取:
> date "+%G-%m-%d"