裝置檔案

• 磁碟裝置的裝置檔案命名：/dev/DEV_FILE
• SCSI, SATA, SAS, IDE,USB: /dev/sd
• 虛擬磁碟：/dev/vd
• 不同磁碟標識：a-z,aa,ab…
  /dev/sda, /dev/sdb, ...
• 同一裝置上的不同分割槽：1,2, ...
  /dev/sda1, /dev/sda5
• 硬碟儲存術語
  head：磁頭
  track：磁軌
  cylinder: 柱面
  ector: 扇區，512bytes

CHS和LBA

• CHS
  採用24bit位定址
  其中前10位表示cylinder，中間8位表示head，後面6位表示sector
  最大定址空間8GB
• LBA（logical block addressing）
  LBA是一個整數，通過轉換成CHS格式完成磁碟具體定址
  ATA-1規範中定義了28位定址模式，以每扇區512位組來計算，ATA-1所定 義的28位LBA上限達到128 GiB。2002年ATA-6規範採用48位LBA，同樣以 每扇區512位組計算容量上限可達128 Petabytes
• 由於CHS定址方式的定址空間在大概8GB以內，所以在磁碟容量小於大概8GB 時，可以使用CHS定址方式或是LBA定址方式；在磁碟容量大於大概8GB時，則 只能使用LBA定址方式

磁碟分割槽

• 為什麼分割槽
  優化I/O效能
  實現磁碟空間配額限制
  提高修復速度
  隔離系統和程式
  安裝多個OS
  採用不同檔案系統
• 兩種分割槽方式：MBR，GPT
• MBR: Master Boot Record，1982年，使用32位表示扇區數，分割槽不超過2T
• 如何分割槽：按柱面
• 0磁軌0扇區：512bytes
  446bytes: boot loader
  64bytes：分割槽表，其中每16bytes標識一個分割槽
  2bytes: 55 AA
• 4個主分割槽；3主分割槽+1擴充套件(N個邏輯分割槽)

MBR分割槽結構

• 硬碟主引導記錄MBR由4個部分組成
• 主載入程式（偏移地址0000H--0088H），它負責從活動分割槽中裝載，並執行 系統載入程式
• 出錯資訊資料區，偏移地址0089H--00E1H為出錯資訊，00E2H--01BDH全為 0位元組
• 分割槽表（DPT,Disk Partition Table）含4個分割槽項，偏移地址01BEH--01FDH, 每個分割槽表項長16個位元組，共64位元組為分割槽項1、分割槽項2、分割槽項3、分割槽項4
• 結束標誌字，偏移地址01FE--01FF的2個位元組值為結束標誌55AA

GPT分割槽

• GPT:GUID（Globals Unique Identifiers） partition table 支援128個分割槽， 使用64位，支援8Z（ 512Byte/block ）64Z （ 4096Byte/block）
• 使用128位UUID(Universally Unique Identifier) 表示磁碟和分割槽 GPT分割槽表 自動備份在頭和尾兩份，並有CRC校驗位
• UEFI (統一擴充套件韌體介面)硬體支援GPT，使作業系統啟動

管理分割槽

• 列出塊裝置
  • lsblk
• 建立分割槽使用： • fdisk 建立MBR分割槽
  • gdisk 建立GPT分割槽
  • parted 高階分割槽操作
• 重新設定記憶體中的核心分割槽表版本
  • partprobe

parted命令

• parted的操作都是實時生效的，小心使用
• 用法：parted [選項]... [裝置 [命令 [引數]...]...]
  parted /dev/sdb mklabel gpt|msdos
  parted /dev/sdb print
  parted /dev/sdb mkpart primary 1 200 （預設M）
  parted /dev/sdb rm 1
  parted –l 列出分割槽資訊

分割槽工具fdisk和gdisk

• gdisk /dev/sdb 類fdisk 的GPT分割槽工具
• fdisk -l [-u] [device...] 檢視分割槽
• fdisk /dev/sdb 管理分割槽
• 子命令：
  p 分割槽列表
  t 更改分割槽型別
  n 建立新分割槽
  d 刪除分割槽
  v 校驗分割槽
  u 轉換單位
  w 儲存並退出
  q 不儲存並退出

同步分割槽表

• 檢視核心是否已經識別新的分割槽
  cat /proc/partations
• centos6通知核心重新讀取硬碟分割槽表
  新增分割槽用
  partx -a /dev/DEVICE
  kpartx -a /dev/DEVICE -f: force
  刪除分割槽用
  partx -d --nr M-N /dev/DEVICE
• CentOS 5，7: 使用partprobe
  partprobe [/dev/DEVICE]

檔案系統

• 檔案系統是作業系統用於明確儲存裝置或分割槽上的檔案的方法和資料結構；即 在儲存裝置上組織檔案的方法。作業系統中負責管理和儲存檔案資訊的軟體結 構稱為檔案管理系統，簡稱檔案系統
• 從系統角度來看，檔案系統是對檔案儲存裝置的空間進行組織和分配，負責文 件儲存並對存入的檔案進行保護和檢索的系統。具體地說，它負責為使用者建立 檔案，存入、讀出、修改、轉儲檔案，控制檔案的存取，安全控制，日誌，壓 縮，加密等
• 支援的檔案系統：/lib/modules/uname –r/kernel/fs
• 各種檔案系統：
  https://en.wikipedia.org/wiki/Comparison_of_file_systems

檔案系統型別

• Linux檔案系統：
  ext2(Extended file system) :適用於那些分割槽容量不是太大，更新也不頻繁的情況， 例如 /boot 分割槽
  ext3:是 ext2 的改進版本，其支援日誌功能，能夠幫助系統從非正常關機導致的異常中 恢復。它通常被用作通用的檔案系統
  ext4:是 ext 檔案系統的最新版。提供了很多新的特性，包括納秒級時間戳、建立和使 用巨型檔案(16TB)、最大1EB的檔案系統，以及速度的提升
  xfs：SGI，支援最大8EB的檔案系統
  btrfs（Oracle）, reiserfs, jfs（AIX）, swap
• 光碟：iso9660
• Windows：FAT32, exFAT,NTFS
• Unix: FFS（fast）, UFS（unix）, JFS2
• 網路檔案系統：NFS, CIFS
• 叢集檔案系統：GFS2, OCFS2（oracle）
• 分散式檔案系統： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
• RAW：未經處理或者未經格式化產生的檔案系統
• 根據其是否支援"journal"功能：
  日誌型檔案系統: ext3, ext4, xfs, ...
  非日誌型檔案系統: ext2, vfat
• 檔案系統的組成部分：
  核心中的模組：ext4, xfs, vfat
  使用者空間的管理工具：mkfs.ext4, mkfs.xfs,mkfs.vfat
• Linux的虛擬檔案系統：VFS
• 查前支援的檔案系統：cat /proc/filesystems

建立檔案系統

• mkfs命令： (1) mkfs.FS_TYPE /dev/DEVICE
  • ext4
  • xfs
  • btrfs
  • vfat
  (2) mkfs -t FS_TYPE /dev/DEVICE
  • -L 'LABEL' 設定卷標
• mke2fs：ext系列檔案系統專用管理工具
  • -t {ext2|ext3|ext4} 指定檔案系統型別
  • -b {1024|2048|4096} 指定塊大小
  • -L ‘LABEL’ 設定卷標
  • -j 相當於 -t ext3
  mkfs.ext3 = mkfs -t ext3 = mke2fs -j = mke2fs -t ext3
  • -i # 為資料空間中每多少個位元組建立一個inode；不應該小於block大小
  • -N # 指定分割槽中建立多少個inode
  • -I 一個inode記錄佔用的磁碟空間大小，128 --4096
  • -m # 預設5%,為管理人員預留空間佔總空間的百分比
  • -O FEATURE[,...] 啟用指定特性
  • -O ^FEATURE 關閉指定特性

檔案系統標籤

• 指向裝置的另一種方法
• 與裝置無關
• blkid：塊裝置屬性資訊檢視
  blkid [OPTION]... [DEVICE]
  -U UUID 根據指定的UUID來查詢對應的裝置
  -L LABEL 根據指定的LABEL來查詢對應的裝置
• e2label：管理ext系列檔案系統的LABEL
  e2label DEVICE [LABEL]
• findfs ：查詢分割槽
  findfs [options] LABEL=<label>
  findfs [options] UUID=<uuid>

tune2fs

• tune2fs：重新設定ext系列檔案系統可調整引數的值
  • -l 檢視指定檔案系統超級塊資訊；super block
  • -L 'LABEL‘ 修改卷標
  • -m # 修預留給管理員的空間百分比
  • -j 將ext2升級為ext3
  • -O 檔案系統屬性啟用或禁用, –O ^has_journal
  • -o 調整檔案系統的預設掛載選項，–o ^acl
  • -U UUID 修改UUID號
• dumpe2fs： 塊分組管理，32768塊
  • -h：檢視超級塊資訊，不顯示分組資訊

檔案系統檢測和修復

• 常發生於宕機或者非正常關機之後
• 掛載為檔案系統標記為“no clean”
• 注意：一定不要在掛載狀態下修復
• fsck: File System Check
  fsck.FS_TYPE
  fsck -t FS_TYPE
  -p 自動修復錯誤
  -r 互動式修復錯誤
  FS_TYPE 一定要與分割槽上已經檔案型別相同
• e2fsck：ext系列檔案專用的檢測修復工具
  -y 自動回答為yes
  -f 強制修復

掛載mount

• 掛載:將額外檔案系統與根檔案系統某現存的目錄建立起關聯關係，進而使得此 目錄做為其它檔案訪問入口的行為
• 解除安裝:為解除此關聯關係的過程
• 把裝置關聯掛載點：
  mount Point
  mount
• 解除安裝時：可使用裝置，也可以使用掛載點
  umount
• 掛載點下原有檔案在掛載完成後會被臨時隱藏
• 掛載點目錄一般為空
• 掛載方法：mount DEVICE MOUNT_POINT
• mount：通過檢視/etc/mtab檔案顯示當前已掛載的所有裝置
• mount [-fnrsvw] [-t vfstype] [-o options] device dir
  device：指明要掛載的裝置；
  (1) 裝置檔案：例如/dev/sda5
  (2) 卷標：-L 'LABEL', 例如 -L 'MYDATA'
  (3) UUID, -U 'UUID'：例如 -U '0c50523c-43f1-45e7- 85c0-a126711d406e'
  (4) 偽檔案系統名稱：proc, sysfs, devtmpfs, configfs
  dir：掛載點
  事先存在；建議使用空目錄
  程序正在使用中的裝置無法被解除安裝
• mount常用命令選項
  • -t vsftype 指定要掛載的裝置上的檔案系統型別
  • -r readonly，只讀掛載
  • -w read and write, 讀寫掛載
  • -n 不更新/etc/mtab，mount不可見
  • -a 自動掛載所有支援自動掛載的裝置(定義在了/etc/fstab檔案 中，且掛載選項中有auto功能)
  • -L 'LABEL' 以卷標指定掛載裝置
  • -U 'UUID' 以UUID指定要掛載的裝置
  • -B, --bind 繫結目錄到另一個目錄上
• 檢視核心追蹤到的已掛載的所有裝置
  • cat /proc/mounts
• -o options：(掛載檔案系統的選項)，多個選項使用逗號分隔
  async 非同步模式 sync 同步模式,記憶體更改時，同時寫磁碟
  atime/noatime 包含目錄和檔案
  diratime/nodiratime 目錄的訪問時間戳
  auto/noauto 是否支援自動掛載,是否支援-a選項
  exec/noexec 是否支援將檔案系統上執行應用程式 dev/nodev 是否支援在此檔案系統上使用裝置檔案
  suid/nosuid 是否支援suid和sgid許可權
  remount 重新掛載
  ro只讀 rw讀寫
  user/nouser 是否允許普通使用者掛載此裝置，/etc/fstab使用
  acl 啟用此檔案系統上的acl功能
  loop 使用loop裝置
• defaults：相當於rw, suid, dev, exec, auto, nouser, async

解除安裝命令

• 檢視掛載情況
  findmnt MOUNT_POINT|device
• 檢視正在訪問指定檔案系統的程序
  lsof MOUNT_POINT
  fuser -v MOUNT_POINT
• 終止所有在正訪問指定的檔案系統的程序
  fuser -km MOUNT_POINT
• 解除安裝
  umount DEVICE
  umount MOUNT_POINT

掛載點和/etc/fstab

• 配置檔案系統體系
• 被mount、fsck和其它程式使用
• 系統重啟時保留檔案系統體系
• 可以在裝置欄使用檔案系統卷標
• 使用mount -a 命令掛載/etc/fstab中的所有檔案系統
• /etc/fstab每行定義一個要掛載的檔案系統
• 1、要掛載的裝置或偽檔案系統 裝置檔案
  LABEL：LABEL=""
  UUID：UUID=""
  偽檔案系統名稱：proc, sysfs
  2、掛載點
  3、檔案系統型別：ext4,xfs,nfs,none
  4、掛載選項：defaults ，acl，bind
  5、轉儲頻率：
  （0）：不做備份
  （1）：每天轉儲
  （2）：每隔一天轉儲
  6、fsck檢查的檔案系統的順序：允許的數字是0, 1, 和2
  （0）：不自檢
  （1）：首先自檢；一般只有rootfs才用
  （2）：非rootfs使用

處理交換檔案和分割槽

• 交換分割槽是系統RAM的補充
• 基本設定包括：
  • 建立交換分割槽或者檔案
  • 使用mkswap寫入特殊簽名
  • 在/etc/fstab檔案中新增適當的條目
  • 使用swapon -a 啟用交換空間
• 啟用：swapon
  swapon [OPTION]... [DEVICE]
  -a：啟用所有的交換分割槽
  -p PRIORITY：指定優先順序
  /etc/fstab:pri=value
• 禁用：swapoff [OPTION]... [DEVICE]

SWAP的優先順序

• 可以指定swap分割槽0到32767的優先順序，值越大優先順序越高
• 如果使用者沒有指定，那麼核心會自動給swap指定一個優先順序，這個優先順序從 -1開始，每加入一個新的沒有使用者指定優先順序的swap，會給這個優先順序減一
• 先新增的swap的預設優先順序比較高，除非使用者自己指定一個優先順序，而使用者 指定的優先順序(是正數)永遠高於核心預設指定的優先順序(是負數)
• 優化效能：分佈存放，高效能磁碟存放

掛載USB介質

• 檢視USB裝置是否識別 • lsusb
• 被核心探測為SCSI裝置 • /dev/sdaX、/dev/sdbX、或類似的裝置檔案
• 在圖形環境中自動掛載
  • 圖示在[計算機]視窗中建立
  • 掛載在/run/media/<user>/<label>
• 手動掛載 • mount /dev/sdb1 /mnt
• 檔案系統空間佔用等資訊的檢視工具：
  df [OPTION]... [FILE]...
  -H 以1000為單位
  -T 檔案系統型別
  -h: human-readable
  -i：inodes instead of blocks -P: 以Posix相容的格式輸出
• 檢視某目錄總體空間佔用狀態：
  du [OPTION]... DIR
  -h: human-readable
  -s: summary --max-depth

工具dd

• dd命令：convert and copy a file
• 用法：
  dd if=/PATH/FROM/SRC of=/PATH/TO/DEST
  bs=#：block size, 複製單元大小
  count=#：複製多少個bs
  of=file 寫到所命名的檔案而不是到標準輸出
  if=file 從所命名檔案讀取而不是從標準輸入
  bs=size 指定塊大小（既是是ibs也是obs)
  ibs=size 一次讀size個byte
  obs=size 一次寫size個byte
  cbs=size 一次轉化size個byte
  skip=blocks 從開頭忽略blocks個ibs大小的塊
  seek=blocks 從開頭忽略blocks個obs大小的塊
  count=n 只拷貝n個記錄
• conv=conversion[,conversion...] 用指定的引數轉換檔案
• 轉換引數:
• ascii 轉換 EBCDIC 為 ASCII
• ebcdic 轉換 ASCII 為 EBCDIC
• lcase 把大寫字元轉換為小寫字元
• ucase 把小寫字元轉換為大寫字元
• nocreat 不建立輸出檔案
• noerror 出錯時不停止
• notrunc 不截短輸出檔案
• sync 把每個輸入塊填充到ibs個位元組，不足部分用空(NUL)字元補齊
• Fdatasync 寫完成前，物理寫入輸出檔案
• 備份MBR
  dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1
• 破壞MBR中的bootloader
  dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446
• 有一個大與2K的二進位制檔案fileA。現在想從第64個位元組位置開始讀取，需要讀 取的大小是128Byts。又有fileB, 想把上面讀取到的128Bytes寫到第32個位元組開 始的位置，替換128Bytes，實現如下
  dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc
• 備份：
  dd if=/dev/sdx of=/dev/sdy
  將本地的/dev/sdx整盤備份到/dev/sdy
  dd if=/dev/sdx of=/path/to/image
  將/dev/sdx全盤資料備份到指定路徑的image檔案
  dd if=/dev/sdx | gzip >/path/to/image.gz
  備份/dev/sdx全盤資料，並利用gzip壓縮，儲存到指定路徑
• 恢復：
  dd if=/path/to/image of=/dev/sdx
  將備份檔案恢復到指定盤
  gzip -dc /path/to/image.gz | dd of=/dev/sdx
  將壓縮的備份檔案恢復到指定盤
• 拷貝記憶體資料到硬碟
  dd if=/dev/mem of=/root/mem.bin bs=1024
  將記憶體裡的資料拷貝到root目錄下的mem.bin檔案
• 從光碟拷貝iso映象
  dd if=/dev/cdrom of=/root/cd.iso
  拷貝光碟資料到root資料夾下，並儲存為cd.iso檔案
• 銷燬磁碟資料
  dd if=/dev/urandom of=/dev/sda1
  利用隨機的資料填充硬碟，在某些必要的場合可以用來銷燬資料，執行此操作以後， /dev/sda1將無法掛載，建立和拷貝操作無法執行
• 測試硬碟寫速度
  dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000
• 測試硬碟讀速度
  dd if=/root/1Gb.file bs=64k | dd of=/dev/null
• 修復硬碟
  dd if=/dev/sda of=/dev/sda
  當硬碟較長時間（比如1,2年）放置不使用後，磁碟上會產生消磁點。當磁頭讀 到這些區域時會遇到困難，並可能導致I/O錯誤。當這種情況影響到硬碟的第一 個扇區時，可能導致硬碟報廢。上邊的命令有可能使這些資料起死回生,且這個 過程是安全高效的