體驗:從零開始使用AWS雲端儲存閘道器
2012年,AWS釋出儲存閘道器,用來打通本地和雲端的儲存,是照顧企業使用者原有資料資產的需求而推出的產品服務,也是因為有了儲存閘道器,雲端儲存和本地儲存建立聯絡,做統一的資料儲存資源池。
儲存閘道器支援的混合雲端儲存能幹啥呢?簡單而言,能讓本地儲存對接上雲,能備份,歸檔,做災難恢復,還能用來做分層儲存,這是儲存閘道器最擅長的事兒了。
AWS的儲存閘道器支援使用者本地的檔案,塊和磁帶儲存,在雲端可連線S3,Glacier儲存還有EBS快照,分別支援NFS,iSCSI以及磁帶庫介面。

檔案儲存閘道器,將本地的資料儲存在雲上,本地的檔案以物件的形式儲存在S3上,檔案的元資料和物件的元資料都在雲上,而且,雲上可以利用多種雲服務實現資料分層。
AWS的儲存閘道器提供了標準化的儲存協議,能與本地的儲存裝置對接,在實際使用中,有了儲存閘道器的幫助,使用者既能享受到本地的快取記憶體儲存,也能享受到雲端儲存的便利。

塊儲存閘道器,塊儲存卷通過iSCSI連到雲端,雲端備份本地的卷,本地可以從雲端建立卷,AWS的雲端儲存閘道器最大支援1PB。卷閘道器有兩種使用場景:
第一種,儲存主要的本地資料,按時間點將資料備份同步到EBS上,每個閘道器最多支援32個卷,每個卷最大16TB,所以,每個閘道器最大512TB。

第二種卷閘道器,用作Cache,將主要資料存放在AWS上,頻繁的訪問本地的資料,也是按時間點備份存放到EBS,每個閘道器支援32個卷,每個卷最大32TB,每個閘道器最大1PB。

磁帶閘道器,把磁帶裡的備份資料存放到S2和Glacier磁帶儲存閘道器上,最大1PB,如果要做雲上歸檔的話,容量沒有限制,支援主流的磁帶儲存備份廠商,Veritas,DELL/EMC,Veeam等。
在各種雲端儲存閘道器的幫助下,最終雲上雲下實現無縫跨平臺的資料傳輸,而且用上了雲也能享受到低延遲資料儲存體驗。既然用上了雲,自然可以享受到雲上各種服務提供的各種便利,比如在監控,管理和安全性等方面。
1,建立IAM role


選擇賬戶型別:AWS services,並選擇使用該角色的服務:EC2。點選建立

搜尋欄裡搜尋s3,然後選擇,AmazonS3FullAccess。
這個角色是用來管理Gateway所需要的S3儲存的,所以,對應我們要建立一個S3bucket。
建立S3 Bucket

建立一個名為boxer-bucket的bucket,一路next預設完成建立。
建立VPC
然後設定訪問許可權,建立一個VPC,用於連線EC2和本地裝置。
點選VPC服務,點選SecurityGroup安全組,命名為OUTREACH:

然後修改一下OUTREACH vpc的進棧出棧規則,開啟ssh埠22的入棧,這樣我們可以隨意用SSH訪問這個vpc下的資源。
建立EC2
然後回去建立一個全新的EC2,注意建立的時候選擇你建立的IAM roles。其它設定可以選擇預設。

下一步選擇預設的儲存就行,第六步的時候要選你之前建立的安全組:

點選建立虛擬機器,記得配置好PEM檔案,這個是登入過程中很重要的檔案。等新的主機啟動好之後用ssh連線,檢視一下關聯的bucket,這裡有兩個,其中有一個是我們新建立的。

接下來進入正題,開始設定Stroagegateway。

點選GetStarted開始……

選擇預設的檔案閘道器,FileGateWay,檔案儲存閘道器,點選Next。

為了方便起見,還是選擇ESXi,下載這個大概800多兆的OVA檔案,是個zip檔案,順便解壓成OVA檔案。
然後登陸vSphere Web Client。

點選建立VM。

用剛剛下載的OVA檔案建立。

起個名字,然後選中解壓的OVA檔案,點選Next。

第三步,儲存設定選擇預設,第四步,Disk Provisioing選擇Thick。

第五步,點選完成。

如果不出啥問題的話,虛擬機器就會這樣啟動了,下圖是我們新建立的虛擬機器。

點選上方的Edit編輯虛擬機器配置,點選新增新磁碟,add new disk,設定150GB空間,用作儲存閘道器的cache。

建立完畢後能看見,150GB的磁碟已經掛載到了我們剛才建立的虛擬機器上。

我們點選黑色的Console控制檯,以賬號和密碼形式登入。

賬號和密碼是啥?我在AWS官網上找到了這個,賬號是admin,密碼是password。

這裡我們能看到這個虛擬機器的一些引數,比如IP地址是:192.168.1.103。

回到AWS的頁面中繼續建立GateWay,點選Next。輸入剛才的IP地址。

時區選擇跟本地主機一個時區,東八區。

閘道器已啟用,等著下面刷新出本地虛擬機器上的磁碟。

額,看來找不到本地磁碟,網上查了下資料,看來還得重啟一下本地虛擬機器。

重啟機器之後,150GB的磁碟找到了。

Storage Gateway建立完成,已經在運行當中了。

接下來我們體驗一下這個雲端儲存閘道器,設定一下共享資料夾。點選上網的Creata fiile share。填寫對應的s3 bucket。

點選Next,Next,最後看到的配置如下圖。

注意看看感嘆號的內容,說是允許任何NFS客戶端的訪問,這有點不安全了。點選編輯改成192.168.1.0/24,僅限本地網段的訪問。
好,到這裡,就算AWS雲端儲存閘道器的配置完畢了。
我們用本地的機器連一下這個閘道器,看看能不能把本地的檔案存到AWS上。
筆者用的是MacOS,所以就用自帶的SSH Terminal來操作吧
1,將當前目錄cd到/users/wu_yuzheng/skmc;
2,鍵入如下命令:sudomount -t nfs -o vers=3,nolock -v 192.168.1.103:/boxer-bucket /dev
掛載成功:

此刻,我的這臺小小的Macbookair後端就是儲存網關了,試著建立一個檔案看看效果吧。
在/user/wu_yuzheng/skmc目錄下執行:vimhelloAWSGateway.txt

隨便打幾個字兒,算是又一個HelloWorld吧。
這個txt檔案應該已經通過儲存閘道器傳到S3裡面了,我們可以確認一下。

找到了

所以,我們能看到本地寫的檔案能輕鬆的同步到雲端,當然也可以訪問到雲端的資料資源。
那麼,雲端伺服器EC2能否順利訪問這些資料呢?來試試。
登入我們剛剛建立的EC2主機,檢視一下關聯的S3儲存。
鍵入命令:awss3 ls boxer-bucket。

我們剛才建立的helloAWSGateway.txt出現了。
EC2的訪問方式有所不同,本地因為有閘道器的存在,操作起雲端S3就像操作本地一樣,EC2檢視S3的檔案,方式有所不同,我們需要把檔案下載下來。
1,建立一個下載目錄叫downloads3
2,從aws下載檔案到這個目錄裡面:awss3 cp s3://boxer-bucket/helloAWSGateway.txt downloads3
3,檢視一下下載的檔案

Hello Nice to meet you AWS Gateway storage,I am boxer~
好的,以上就是這次體驗AWS儲存閘道器的全部內容了。需要注意的點還是很多的。
花絮:這次體驗,環境搭建是最費時間了:
1,為了這次體驗,我先是在本地機器上安裝VMware的ESXI,版本上最新的是6.7,因為知道VMware的這套東西很麻煩,新東西的相容性一般會差點,而且出問題,想百度都很難,所以選擇了ESXi6.5。
2,手頭也沒有物理伺服器,首先想在PC上安裝一下,為了防止啟動項的干擾,我就想裝在U盤上算了,後來因為缺少網絡卡驅動而作罷,最後還是用VMwareworkstation安裝出來了。
3,VMware以前有個vSphereClient來著,這次還想下載個這個軟體,結果找了半天沒有找到vSphere Client 6.5,網上也有很多人在找這個,調查瞭解後發現,VMware現在不更新這個Client了,現在用webclient更簡單,直接在瀏覽器裡敲出來伺服器地址就好了。
4,預設的虛擬機器給ESXi的容量是40GB,這次測試最好讓磁碟大一點,我設定的是400GB,夠用了。
【本文版權歸儲存線上所有,未經許可不得轉載。文章僅代表作者看法,如有不同觀點,歡迎新增儲存線上微信公眾號(微訊號:doitmedia)進行交流。】