通常在建構系統中，擴充新服務，在遷移過程，有時會需要將雲端資料進行搬移

最近剛好一個系統需要將GCP上面的Storage資料遷移到阿里雲OSS

在這裡做一個紀錄

使用工具

OssImport

這裡是官方介紹：

OssImport工具可以將本地、其它雲端儲存的資料遷移到OSS，它有以下特點：

支援的豐富的資料來源，有本地、七牛、百度BOS、AWS S3、Azure Blob、又拍雲、騰訊雲COS、金山KS3、HTTP、OSS等，並可根據需要擴充套件；
支援斷點續傳；
支援流量控制；
支援遷移指定時間後的檔案、特定字首的檔案；
支援並行資料下載、上傳；
支援單機模式和分散式模式，單機模式部署簡單使用方便，分散式模式適合大規模資料遷移。

環境

需要安裝 JAVA 7 以上的環境

模式

在 OssImport 提供單機跟分散式 兩種資料遷移方式

如果資料是 30TB以內的小規模資料遷移，可以下載單機版
資料超過 30TB 以上，則適合分散式遷移方式，可以下載分散式版
分散式遷移的概念如下：

Master --------- Job --------- Console
    |
    |
   TaskTracker
    |_____________________
    |Task     | Task      | Task
    |         |           |
Worker      Worker      Worker

在這裡，我所使用的是單機版 ossimport-2.3.1

下載之後，解壓縮可以看到檔案結構：

ossimport
├── bin
│ └── ossimport2.jar  # 包括Master、Worker、Tracker、Console四個模組的總jar
├── conf
│ ├── local_job.cfg   # 單機Job配置檔案
│ └── sys.properties  # 系統執行引數配置檔案
├── console.bat         # Windows命令列，可以分佈執行調入任務
├── console.sh          # Linux命令列，可以分佈執行調入任務
 

├── import.bat          # Windows一鍵匯入，執行配置檔案為conf/local_job.cfg配置的資料遷移任務，包括啟動、遷移、校驗、重試
├── import.sh           # Linux一鍵匯入，執行配置檔案為conf/local_job.cfg配置的資料遷移任務，包括啟動、遷移、校驗、重試
├── logs                # 日誌目錄
└── README.md           # 說明文件，強烈建議使用前仔細閱讀

在這裡面可以看到幾個指令碼檔案
一鍵匯入指令碼： import.sh (or import.bat)
分散式執行指令碼：console.sh (or console.bat)

另外有一個設定檔，local_job.cfg 需要修改內容

設定完畢後，就可以開始執行指令碼，要留意的是，指令碼執行必須在 ossimport 目錄底下完成

如果你喜歡我們的文章內容，請在這裡按個讚



Tweet