PyTorch發布原型功能以執行機器學習模型設備上硬件引擎的示例分析

PyTorch發布原型功能以執行機器學習模型設備上硬件引擎的示例分析，相信很多沒有經驗的人對此束手無策，為此本文總結了問題出現的原因和解決方法，通過這篇文章希望你能解決這個問題。

PyTorch最近發布了四個新的PyTorch原型功能。前三個功能使移動機器學習開發人員能夠在構成片上系統（SOC）系統的全套硬件（HW）引擎上執行模型。這使開發人員可以優化其模型執行，以獲得獨特的性能，功能和系統級并發性。

新功能包括以下使能在設備上的硬件引擎執行的功能：

• 使用與Google Android合作開發的Android神經網絡API（NNAPI）的DSP和NPU。

• 通過Vulkan在Android上執行GPU

• 通過Metal在iOS上執行GPU

在具有Raspberry Pis和Graviton（2）平臺的PyTorch社區中，ARM的使用不斷增加。因此，新版本還包括開發人員效率優勢，以及最近為Linux推出的ARM64構建支持。

Google Android的NNAPI支持

PyTorch與Google Android團隊的合作通過PyTorch Mobile實現了Android的神經網絡API（NNAPI）。設備上機器學習允許ML模型在設備上本地運行，而無需將數據傳輸到服務器。這樣可以降低延遲，并改善隱私和連接性。Android神經網絡API（NNAPI）專為在Android小工具上運行用于計算機學習的計算密集型流程而設計。因此，機器學習模型現在可以訪問手機的片上系統上的其他硬件模塊，從而使開發人員可以解鎖Android手機上的高性能執行。NNAPI使Android應用能夠在為android提供動力的最強大和最活躍的芯片上運行計算加速的神經網絡，包括DSP（數字信號處理器）和NPU（專用神經處理單元）。

該API最初在Android 8中引入，并在Android 10和11中進行了顯著擴展，以支持更豐富的AI模型。這種集成使開發人員可以直接從PyTorch Mobile訪問NNAPI。此初始版本包括對一組核心功能和操作員的全功能支持。谷歌和Facebook將很快致力于擴展功能。

PyTorch移動GPU支持

GPU推論可以在許多模型類型上提供出色的性能，尤其是那些使用高精度浮點數學運算的模型。像在高通，聯發科技和蘋果公司的SOC中找到的那樣，利用GPU來執行機器學習模型都支持CPU卸載。這為非機器學習用例釋放了移動CPU。設備GPU的原型協助的主要級別是通過iOS的Metal API規范和Android的Vulkan API規范。此功能的性能尚未優化，并且模型覆蓋范圍有限，因為它尚處于不成熟階段。該團隊預計，這一情況將在2021年顯著改善。

看完上述內容，你們掌握PyTorch發布原型功能以執行機器學習模型設備上硬件引擎的示例分析的方法了嗎？如果還想學到更多技能或想了解更多相關內容，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！