1. 程式人生 > >Linux本地數據上傳到阿裏雲OSS

Linux本地數據上傳到阿裏雲OSS

cee 顯示 window prope 上傳數據 int 當前 工作目錄 利用

Linux本地數據上傳到阿裏雲OSS

這篇文章主要是介紹如何將服務器本地的數據上傳到阿裏雲OSS的指定bucket中,最重要的參考文檔是數據遷移單機部署。這裏呢 因為文檔中步驟不是特別清晰,我這裏呢主要是針對linux服務器單機數據上傳的,windows的話還是看阿裏的官方文檔吧。

1. 環境配置和工具下載

第一步,要確保Linux本地已經有了Java 1.7及以上的運行環境。查看本機java版本,使用命令 java - version 即可。如果沒有,我這裏用的是jdk 1.8的版本  具體的包我放到文件夾下了。大家可以下載

第二步,請從ossimport-2.2.1.zip此鏈接處下載ossimport工具,使用wget命令即可。

下載到本地後,再利用下述命令

unzip -o ossimport-2.2.1.zip -d ossimport

將壓縮文件解壓到ossimport文件夾,完畢。

2. ossimport的相關配置

這一步主要是配置local_job.cfg和sys.properties這兩個文件,它們都在上一步解壓的my_oss_work/conf文件夾下。

第一步,修改local_job.cfg文件:首先,一定不要修改local_job.cfg的名稱和位置,保持不動即可。然後利用vim打開該文件,更改如下設置

srcType=local     //因為是本地上傳,所以此處設置為local

srcPrefix=/opt/log/mysql/backup    //這裏是你本地需要上傳的文件夾

destAccessKey=     //這個是你阿裏雲賬戶的access key,需要去你的阿裏雲賬戶上去找 我這裏是用的子賬戶

destSecretKey=   //這個是你阿裏雲賬戶的secret key,也需要你去你自己的賬戶上去查找。access key 和secret key都是用來對你的身份進行驗證的,相當於你傳數據到阿裏雲上時的鑰匙,這個鑰匙能唯一確定你的OSS

destDomain=http://oss-cn-beijing-internal.aliyuncs.com  //這一步很重要,這是你的endpoint,是由你的實際OSS區域確定的。如果你購買了阿裏雲ECS服務,且是將你ECS主機上的數據上傳到OSS,那麽這裏設置http://oss-cn-beijing-internal.aliyuncs.com;如果你不僅購買了ECS,還設置有VPC專有網絡,那麽此處設置http://vpc100-oss-cn-beijing.aliyuncs.com;如果你是將自己的服務器(並不是阿裏雲的ECS主機)比如你公司裏的機房上的數據上傳到OSS,那麽這裏設置http://oss-cn-beijing.aliyuncs.com。這些信息都可以在你的OSS賬戶裏面查到。endpoint中的beijing說明我購買的是OSS區域在華北,如果你的在杭州,那麽就改為hangzhou。這些都是可以在你的賬戶裏查到的。

destBucket=itoyo  //這是你的OSS的bucket名,你要把數據傳到這個bucket上,註意,不要在bucket名字後面加斜線/

**destPrefix=itoyo  //這是你的目標文件夾,你要講數據傳到上面指定的itoyo的itoyo文件夾下,註意此處文件夾開頭不要加斜線/

jobName=local_test  //這是你的任務名稱,註意,此處不需要修改,保持不變即可!!ossimport v2.2單機模式要求這個名稱不能更改!!

除了上面幾個需要設置和註意以外,其它的都不需要動!保持不變即可!

第二步,修改sys.properties文件:

workerMaxThroughput(KB/s)=0  //這是設置你的上傳速度上限,設置為0表示不限制。

註意,sys.properties中的配置項workingDir、workerUserName、workerPassword、privateKeyFile請不要修改!!保持不變即可!!

到此,ossimport的配置到此結束。

3. 運行ossimport和上傳數據

使用下述命令

cd ossimport

切換到剛才解壓的文件夾下,即與import.sh這個文件保持同級,你當前目錄下存在著一個叫做import.sh的文件。這個文件將數據上傳的操作封裝在了一起,你無須管它裏面寫了什麽,只要你前面local_job.cfg和sys_properties這兩個文件正確設置了,那麽運行命令

bash import.sh

ossimport工具就會依據你之前的設定,將你本地/opt/log/mysql/backup文件夾下的所有數據上傳到你阿裏雲OSS的itoyo的itoyo文件夾下。整個過程持續的時間,取決於你文件的大小和數量。

上傳完畢之後,你就可以去你的OSS上去查看了。

4. 查看上傳數據的狀態

如果數據量很大,上傳需要花費很多時間,我們就可以選擇暫時斷開連接。斷開後,ossimport仍會繼續上傳數據。當我們再次登陸時,想看一下數據上傳的進度,這時就可以切換到ossimport文件夾下(也即ossimport的工作目錄下),執行下述命令

bash console.sh stat

如果數據仍在上傳,則會顯示出當前的工作狀態和正在運行的任務;如果已經上傳結束了,就會顯示 JobState:Succeed

5. 其他情況

上述是一鍵上傳,其實也可以逐步上傳,這個數據遷移單機部署這個鏈接處也有介紹,但是要麻煩很多,不建議新手去嘗試,直接采用上述一鍵上傳的步驟即可。是否上傳成功,取決於你在上面的每一步配置是否正確!!

Linux本地數據上傳到阿裏雲OSS