US3SYNC 是一款將不同源的數據同步到 S3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中，可以便捷地從本地或者其他云環境中將數據遷移到 S3 存儲空間。US3SYNC工具可以創建兩種模式的任務：

普通模式： 普通同步任務可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上。可以指明文件同步成功和失敗后的回調接口，US3SYNC會在同步任務完成后，發送相應的通知。

普通任務工作原理

圖中master節點與worker節點功能：

master節點：

單點部署，負責遷移任務的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發給worker進程遷移。

worker節點：

支持節點擴展，負責遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節點與worker節點可以部署在同一臺機器，也可以部署在多臺機器上，用戶可以根據需要自行擴展worker節點，下面分別介紹：

部署在同一臺機器：

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信。用戶需要確保配置給worker節點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復。

部署在不同機器：

master節點和worker節點通過啟動時配置的內部通信監聽地址進行通信，確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復。

Fetch任務工作原理

Fetch類型的任務跟普通任務工作原理大致類似，不同的是同步任務的源端需要發送POST請求來指定，而不是根據配置的源端的位置自動拉取。

POST請求語法

POST /fetch/ HTTP 1.1Authorization: AuthContent-Type:application/jsonCopy

請求頭部

ErrorSuccess請求頭部

Authorization為必選項，content-type, date等都是可選項

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：

method := "POST" md5 := xxxxxxcontentType := xxxxxxdate := xxxxxprivateKey = xxxxx-xxxx-xxxxx-xxxxpublicKey = xxxx-xxxx-xxxx-xxxxstrToSign = method + "\n" + md5 + "\n" + contentType + "\n" + date + "\n" signature = HmacSHA1(strToSign, privateKey) signature = Base64(signature) Authorization: "UCloud " + publicKey + ":" + signatureCopyErrorSuccess

請求內容

此處的JobId可以在界面中獲取

返回內容

{ "RetCode":, "ErrMsg":, "TaskId": }CopyErrorSuccess

示例請求

POST /fetch/ HTTP/1.1Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=Content-Type:application/jsonContent-Length: 159{ "Url": "http://xxx.xxx.xxx/xxx/movie.mp4", "Bucket": "example_bucket", "Key":"movie.mp4", "JobId": "xxxxxxxxxxxxxxxxxxxx", "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx", "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"}CopyErrorSuccess

返回

HTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Content-Length: 122Connection: keep-alive{ "RetCode":0, "ErrMsg":"success", "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"}CopyErrorSuccess

回調內容

您可以在請求中指定任務完成后的回調地址，US3SYNC會依照任務執行結果給相應的地址放松POST請求，請求內容示例如下：

Failure callback

{ "Code":1, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "Message":"We encountered an internal error.", "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",}CopyErrorSuccess

Success callback

{ "Code": 0, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "ETag":"xxxxxxxx", "Key":"xxxxxxxxxxxxxxx.mp4", "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c", "Size":638304718}CopyErrorSuccess

主要功能

1. 支持從 s3，oss，qiniu，youpai，S3 云存儲遷移數據到 S3 中。
2. 支持從 NAS 存儲或者本地目錄將數據遷移到 S3 中。
3. 支持指定 URL 資源列表將數據遷移到 S3 中。
4. 支持 web 管理，通過 web 管理遷移任務，遷移節點。
5. 支持源端管理
6. 支持配置任務定期執行
7. 支持失敗文件列表導出

注：暫不支持源端為歸檔類型的文件遷移到 S3。

文件結構

US3SYNC├── bin│ |── master # master 可執行程序│ └── worker # worker 可執行程序├── conf│ └── config.toml # 配置文件├── cert # https證書├── log # master日志文件存放路徑├── pika # 依賴pika└── console.sh # 啟動腳本CopyErrorSuccess

---

當前版本：1.10.4

運行環境：

Linux：

    CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)

    Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)

US3SYNC 依賴 telnet，expect，rsync 命令，確保預裝這些命令，使用 yum 源做包管理可以使用以下命令安裝：

yum install -y telnet expect rsyncCopyErrorSuccess

下載并解壓

wget -O US3SYNC.tgz "https://ufile-release.cn-bj.ufileos.com/US3SYNC/v1.10.4/US3SYNC.tgz"tar xzf US3SYNC.tgzcd ./US3SYNCCopyErrorSuccess

啟動master服務

./console.sh start請設置緩存服務監聽端口[9000]:請設置緩存服務密碼[user-passwd]:# 云主機一般綁定EIP，建議ip地址使用0.0.0.0請設置web 服務監聽地址[0.0.0.0:443]:# 內部通信地址不提供外網服務，建議ip地址使用機器內網ip請設置內部通信監聽地址[x.x.x.x:8080]:請設置報錯重試次數[10]:請設置web 登錄使用的用戶名[root]: 請設置web 登錄使用的密碼[passwd]: US3SYNC start success!# 查看master服務./console.sh show# 結束master服務./console.sh stop# 驗證# 查看進程是否正常啟動./console.sh showCopyErrorSuccess

添加worker節點

服務啟動后，在瀏覽器中打開：https://<web服務監聽IP>:<web服務監聽端口>/

注：使用云主機部署遷移服務時，這里需要使用EIP，而不是0.0.0.0。

頁面登錄，使用啟動時設置的用戶名和密碼。

添加工作節點，參考 創建節點界面說明，需要為每個節點提供唯一工作路徑。 每個工作節點需要提供唯一工作路徑，如果路徑不存在會自動創建對應目錄。

注：建議使用內網ip。