DSW：面向AI研發的集成開發平臺

發布會傳送門

產品詳情

云原生技術，注重用戶體驗，提升研發效率

環境搭建是算法研發過程中的重要一環，這里除了硬件選型外，軟件環境的安裝配置，后續升級往往會耗費不少時間。DSW借助阿里云ECS，Docker和Kubernetes等云原生技術，能夠在2，3分鐘內幫用戶完成環境搭建。用戶可以根據算法需要和成本考慮， 選擇阿里云ECS提供的包括CPU和異構計算GPU在內的所有資源規格。不僅支持預付費，還支持后付費。 DSW還配置了10多種適用于不同AI場景的典型軟件環境配置， 包括Tensorflow和PyTorch等主流訓練框架的不同版本組合，供用戶選擇。作為高度開放的開發環境，DSW開放sudo權限給用戶、支持任意第三方庫安裝。

為了滿足不同水平層次和開發習慣的算法用戶，結合可視化，交互式編程和命令行輸入，DSW提供了3種編程入口：WebIde適用于工程化要求比較高的項目；JupyterLab適用于快速POC試驗；Terminal入口可用于快速執行Shell命令，運行程序和簡單的編輯等。

DSW還開發和預裝了各種JupyterLab和WebIDE插件， 比如廣受深度學習開發者喜愛的可視化工具Tensorboard，用戶在DSW內通過Launcher，Commands打開，甚至還可以使用%tensorboard魔法命令直接在Notebook中開啟等多種方式使用Tensorboard。不僅支持本地文件，還可以打開存放在OSS，ODPS里的訓練日志。針對算法同學使用Python比較多的特點， DSW的WebIDE內安裝了Python插件， 可以直接在瀏覽器內在線調試，單步跟蹤程序運行。用戶還可以根據需要，自主安裝需要的任意插件。

DSW支持多種數據源讀寫，包括NAS， OSS，云盤和MaxCompute，尤其是內置了dswmagic魔法命令可以讓用戶在ipynb文件中使用SQL語句讀寫MaxCompute表中數據，預置的SQL編輯器支持語法高亮、智能提示、自動補全等功能，還支持運行帶變量替換功能的Sql腳本。查詢結果自動以最友好的圖形化展示。

為了節省資源成本，用戶可以利用停機不收費功能，在實例閑置不用時關機保存環境， 需要時再一鍵快速恢復。此外， DSW支持用戶自定義鏡像安裝，可以基于之前保存或定制的環境創建實例。

DSW在公有云上支持了多次百隊以上規模的天池大賽，在阿里集團內同樣也承接著比賽，經過千錘百煉，證明不僅適合個人和團隊研發，也支持大規模算法競賽和教育培訓。

安全性和穩定性是用戶比較關心的問題，DSW使用的計算，存儲和網絡資源，完全是使用用戶自己的賬號購買，并部署到用戶自己的vpc內部， 可以方便與用戶其他數據打通。用戶間完全隔離，還具備非常好的安全性。基于阿里云ECS和容器服務， 穩定性有保障。

集成PAI的各能力組件，加速業務落地

身為PAI這個大家庭的一員， DSW除了完成單機開發訓練功能之外， 還內置部分PAI的基礎能力。比如用戶可以直接在實例內利用PAI視覺類算法包EasyVision進行圖像分類訓練評估、預測； 通過自動調參AutoML進行算法超參數自動調優；用戶甚至能夠無感知的享受PAI編譯優化算法組件TAO提供的訓練過程中的算子優化。最后， DSW還提供了供算法直接讀取MaxCompute表數據的CommonIO組件，支持TableRecordDataSet， TableReader，TableWriter等標準接口，方便訓練程序直接提交到PAI的分布式訓練集群。

可以預見，在不久的將來， 會有更多的PAI算法包內置進DSW基礎鏡像內。 DSW也會依賴PAI SDK，圍繞數據讀取，加工，模型訓練， 模型管理以及在線服務等AI研發生產流程的關鍵環節，為用戶提供像Pipeline搭建，調度和管理之類的一條龍服務。