運維文檔分享（1）：NetApp運維使用手冊
本文截圖在虛擬機上完成，文末有模擬器鏈接。
一、Netapp簡介
NetApp 系統為各種不同平臺上的用戶提供了對全部企業數據的無縫訪問。NetApp全系列光纖網絡存儲系統在文件訪問方面支持NFS 和CIFS，在塊存儲訪問方面支持FCP 和iSCSI，確保您可以非常方便地將NetApp 存儲系統集成到NAS 或SAN 環境中，並且保護原來的信息。
NetApp 系統運行高效的Data ONTAP? 微核操作系統，用於將UNIX?、Windows?、NAS、光纖通道和iSCSI SAN 以及Web 數據合並到中央位置。NetApp 企業存儲系統是一套可擴展的、經過實踐檢驗的高可用性網絡存儲系統套件，安裝、配置和管理起來十分簡便，是行業中總擁有成本(TCO) 最低、投資回報率(ROI) 最高的產品之一。
二、基本概念
1. filer
磁陣機頭，對應於其他類型磁陣的控制器。
2. Filerview
NetApp磁陣磁盤管理的WEB工具，當終端為WIN2000時，需要安裝JAVA虛擬機，才能打開對應的界面。
3. RAID
RAID組由一塊或多塊數據磁盤加上一塊或多塊數據校驗盤組成
4. RAID4和RAID DP
RAID4的校驗數據與RAID5的校驗數據一樣，都是數據盤上對應bit位的異或校驗結果，只是RAID4將所有校驗數據放在一個盤上(就是校驗盤)，而RAID5將校驗數據分散到所有盤上。RAID DP（DOUBLE PARITY）即雙校驗盤，其中兩塊校驗盤的數據不一樣：第一塊校驗盤的數據與RAID4一樣，第二塊盤的數據是通過對角線方式異或計算出來的。
plex是一個或多個RG組的集合
6. aggr
一個aggr是一個或多個plex的集合，如果RG組做鏡像了，則一個aggr包含兩個plex，否則只包含一個plex。Aggr用來管理plex和RAID組，因為這些實體只能作為aggr的一部分存在。
7. Volume
數據卷，NetApp磁陣磁盤管理的特殊方式，一個卷至少有一個RAID GROUP，也可以有多個RAID GROUP。存放系統數據的稱為根卷(root volume)。其他存放數據的卷稱為普通卷。一個機頭有且只有一個根卷。NetApp磁陣上的LUN是在Volume上創建的。卷分為傳統卷和靈活卷。傳統卷：只能在一個aggregate中，只能通過添加整個新硬盤的容量來擴容，不能減小，一個RG上只能有一個傳統卷。靈活卷：可以只包含某個RG的一部分。
每個netapp存儲都必須有且只有一個root volume，存儲啟動的時候要讀取在它上面保存的數據。root卷是唯一具有root屬性的卷,而它裏面的/etc目錄保存的是配置信息。它與其它vol差不多，只不過這個vol還存放ontap的配置信息、日誌、firmware等等東西。/vol不是一個目錄，它是一個特殊的虛擬root路徑，存儲用它來mount其它目錄。不能通過Mount /vol來看其它卷，只能是mount每個卷單獨的。
9. qtree
邏輯定義單位，定義在傳統卷或靈活卷的子目錄下，每個卷下最多可創建4995個qtree。Qtree主要作用為：利於數據管理和分配；管理軟硬使用限額。Qtree與volume區別：不能對單個qtree進行快照；不支持空間保留和回收。
10. quotas
限制用戶或組使用的磁盤空間和文件使用數。
11. luns
Logical Unit（LUN）被客戶端在存儲系統上訪問的存儲單元。
12. snapshot
Snapshot是netapp的快照技術，它有占用空間少，不影響性能，生成簡便，恢復數據靈活快捷等突出優點。
三、Aggr的管理
1. 創建一個aggr
查看agg狀態，發現只有aggr0，組成的磁盤為v0.16、v0.17、v0.18、v0.19、v0.20、v0.21、v0.22
netapp> aggr status -r aggr1
查看磁盤信息
netapp>sysconfig -d
新建aggr1和aggr2，其中aggr1為自定義的三塊磁盤，aggr2由非自定義的三塊盤組成
新建aggr1
netapp>aggr create aggr1 -d v0.24 v0.25 v0.26
新建aggr2
netapp>aggr create aggr2 3
2. 擴展aggr
向aggr1中加入3塊盤
預演命令執行
netapp> aggr add aggr1 -n 3
aggr add aggr1 -d v0.35 v0.28 v0.34
指定具體的磁盤
netapp> aggr add aggr1 -d v0.34 v0.35 v0.36
向agg2加入3塊磁盤到新的rg組
netapp> aggr add aggr2 -g new 3
3. 消除aggr快照
查看aggr大小，發現aggr1和aggr2快照占了空間（默認為20%）
netapp> df -A
分別清除aggr1和aggr2快照空間
netapp> snap reserve -A aggr1 0 netapp> snap reserve -A aggr2 0
4. 刪除aggr
首先offline
netapp> aggr offline aggr1
然後destroy
netapp> aggr destroy aggr1
可以看到已無aggr1信息
四、Volume的管理
1. 創建volume
查看vol信息
netapp> vol status
在aggr2上新建卷vol2，大小為50m
netapp> vol create vol2 aggr2 50m
2. 消除snapshot空間
查看vol2大小
netapp> df –h
刪除快照
netapp> snap reserve -V vol2 0
3. 關閉快照
默認情況下，創建卷即開啟快照功能。使用fcp協議劃lun給主機用於建數據庫則無需開啟快照，關閉快照步驟如下：
首先查看快照，發現vol0快照沒被關閉
YS-NPHD2> snap list YS-NPHD2> snap sched
刪除快照，詳見2
關閉vol0快照功能
YS-NPHD2> snap sched vol0 0
4. 擴展和減小volume空間
將vol2增大20m
netapp> vol size vol2 +20m
將vol2減小10m
netapp> vol size vol2 -10m
5. 新建卷的參數修改
NetApp建議在新建的卷上修改三個參數為on，分別為‘Minimal Read Ahead’、‘Create Unicode’、‘Convert Unicode’。
查看vol2參數值
netapp> vol options vol2
將minra設置為on
netapp> vol options vol2 minra on
6. 刪除Volume
首先offline
netapp> vol offline vol2
然後destroy
netapp> vol destroy vol2
五、NFS exports
1. 存儲端配置
使用rdfile命令打開/etc/exports文件，拷貝到文本中，完成編輯後，執行全拷貝
netapp> rdfile /etc/exports
netapp> wrfile /etc/exports netapp> exportfs –a
2. 主機端配置
顯示目前主機與客戶端的 NFS 連接分享的狀態
ha01:/ # showmount -a 192.168.17.51
此地址為存儲ip
查看存儲設備註冊的端口信息
ha01:/ # rpcinfo -p 192.168.17.51
主機端新建掛載點
ha01:/ # mkdir /fs-nfs
掛載存儲（以root用戶執行）
ha01:/ # mount 192.168.17.51:/vol/vol2 /fs-nfs/
編輯fstab，設置開機自動掛載/fs-nfs加入（AIX配置文件為/etc/filesystems）
192.168.17.51:/vol/vol2 /fs-nfs nfs defaults 0 0
六、Lun的輸出
1. 創建qtree
在卷dropme下創建名為tree-dropme的qtree
YS-NPHD2>qtree create /vol/dropme/tree-dropme
2. 創建igroup
YS-NPHD2>igroup create –f –t aix igroup-dropme
3. 加入主機wwpn（World Wide Port Names）號
YS-NPHD1> igroup add igroup-dropme 10:00:00:00:c9:c0:f5:bb
4. 創建lun
在名為tree-dropme的qtree下創建lun：lun-test1
YS-NPHD2>lun create –s 20g –t aix /vol/dropme/tree-dropme/lun-test1
5. Lun map
Map之前查看lun狀態
YS-NPHD2>lun show –m YS-NPHD2>lun show
lun map
YS-NPHD2>lun map /vol/dropme/tree-dropme/lun-test1 igroup-dropme
6. 主機端識別
運行cfgmgr –v
運行lspv，發現多了塊物理盤
七、常用操作及註意事項
1. 如何標識磁盤
其中，0a.41即為Disk ID（磁盤標識），Disk ID由path_id和deivce_id組成，即path_id.device_id的形式，通過Disk ID可快速定位磁盤的位置。path_id - 指適配卡所在的槽位，和該適配器上的端口號，例如0a表示slot0上的適配器的a口,slot0一般是主板上集成的，slot0上一般有a、b、c、d共4個端口；可在其他slot上附加適配卡，附加的適配卡一般是雙端口的（a和b口)device_id - 指磁盤的loop id或者scsi id號，由磁盤櫃的類型、磁盤櫃的ID號和該磁盤在磁盤櫃中的位置（第幾個bay）來決定。另外，從sysconfig -r列出的磁盤信息：HA表示path_id；SHELF表示盤櫃的編號；BAY表示該磁盤在盤櫃中的位置。
2. 修改機頭ip
首先修改/etc/hosts文件，將ip由192.168.17.51改為192.168.17.151
netapp> rdfile /etc/hosts netapp> wrfile /etc/hosts
發現ip未生效，重啟系統即生效
netapp> reboot
3. 檢查cluster狀態是否正常
YS-NPHD2> cf status Cluster enabled, YS-NPHD1 is up. Interconnect status: up.
此狀態為正常
4. 命令模式
netapp命令模式分為管理模式和高級模式，默認為管理模式，進入高級模式為：
netapp> priv set advanced
5. 開關機順序
開機
開機順序：先按照磁盤架編號順序加電磁盤架的雙電源，10 秒鐘後加電控制器。
關機
在控制器的命令行下輸入：> halt,關閉系統.
若是雙控請先在兩個控制器的命令行下分別輸入：>halt -f。 -f是指是不接管。
關機順序：先關控制器電源，依次關閉磁盤架電源。
6. 串口連接netapp
用一條一頭為RJ45，一頭為DB9的控制線分別接在磁陣console口和WIN操作系統終端的串口上，WIN操作系統終端和磁陣的網口分別接一根網線到交換機，WIN操作系統終端的IP配置要和磁陣準備分配的IP在一個網段。這樣在WIN操作系統終端上就可以開始磁陣的配置了。
打開windows裏的超級終端，設置為default: 9600波特率/8位/無校驗/1位停止位，
確認後回車出現登陸提示符，登陸用戶名為root,輸入密碼即可。
7. Netapp管理方式
串口連接
遠程telnet
Filerview（http://xxx.xxx.xx.xx/na_admin）
NetApp OnCommand System Manager 管理軟件
模擬器：https://pan.baidu.com/s/1nBWivjFjFXgAT-I5Y5bsNw 密碼：50aj
管理軟件：https://pan.baidu.com/s/1wyBa_NqL4sBwZrb-zQ3vnA 密碼：srno
運維文檔分享（1）：NetApp運維使用手冊