Azure Storage系列之數據遷移

????再來談一談Azure storage的數據遷移問題，當我們需要把數據遷移到storage的時候，我們其實有很多種方式可以選擇，每種方式適用的場景是不一樣的，總結起來的話可以分為以下這些

????????網絡傳輸

• • 圖形化界面

  • AzCopy

  • PowerShell

  • CLI

  • SDK?

  • Azure Data Factory

????????物理傳輸

• • Azure Import/Export

  • Azure Databox

????我們可以選擇的方式不少，但是具體哪種合適，還是要case by case來看

????首先，網絡傳輸一個最大的弊端就是速度較慢，穩定性差，如果我們有大規模的數據需要傳輸到云上的話（比如10T+），建議最好不要使用網絡傳輸，速度不可控，對帶寬依賴性非常強，并且還有傳輸中斷的風險，對于這種大規模數據，更推薦使用Azure import/Export這種物理方式進行傳輸，直接把數據拷貝到硬盤里，加密之后直接寄送到數據中心，速度絕對是要快得多的

????其次，如果數據量比較少的話，那么網絡傳輸比物理傳輸優勢會更明顯，在這么多種網絡傳輸的方案里，更推薦使用azcopy，azcopy出來的時間已經很久了，目前經過一個大版本的更新后，現在最新版是azcopy v10，v10的使用比以前要更簡單，還能支持使用Azure AD進行身份驗證

? ? Global有一張圖其實可以很好地指引我們如何選擇數據傳輸的方式

????

????當然，除此之外其實還有一些第三方產品也可以使用，比如cloudberry，不過這種產品很多都是付費的，有興趣的可以試下

????接下來，我們會重點介紹下AzCopy的使用，AzCopy v10和以前相比一個很大的不同是它不需要安裝，它只是一個可執行文件，所以只需要拷貝到服務器上就可以運行

????AzCopy v10的下載地址如下：

????https://aka.ms/downloadazcopy-v10-windows

????使用這個地址每次下載到的都會是最新版本的azcopy

????如果說我們想下載固定版本的azcopy的話，可以首先獲取azcopy的固定url，每次下載時使用此url進行下載即可

????在Windows 10上可以直接用curl獲取相關的信息

????(curl https://aka.ms/downloadazcopy-v10-windows -MaximumRedirection 0 -ErrorAction silentlycontinue).RawContent

????

????下載完成后，即可看到azcopy的真容

????

????在進行數據的拷貝之前，我們先了解下azcopy進行身份驗證的方式。總體來說，azcopy支持兩種身份驗證方式，Azure AD和SAS，這和以前版本的azcopy是完全不一樣的，以前的azcopy是直接用storage的key來做身份驗證的，但是azcopy v10里更推薦的是使用SAS和Azure AD

????

????我們可以用AzCopy完成很多數據拷貝的任務，涵蓋多種場景，功能非常強大，接下來我們就準備拿實際的案例來說明下到底什么時候最應該用azcopy以及azcopy到底怎么用

????1.本地文件/文件夾->storage

????2.storage->本地文件/文件夾

????3.storage->storage

????4.S3->storage

? ??