.Net for Spark如何實現WordCount 應用及調試入坑分析

本篇文章為大家展示了.Net for Spark如何實現WordCount 應用及調試入坑分析，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

.Net for Spark 實現WordCount應用及調試入坑詳解

1.    概述

      iNeuOS云端操作系統現在具備物聯網、視圖業務建模、機器學習的功能，但是缺少一個計算平臺產品。最近在調研使用什么語言進行開發，并且研究實現的技術路線。iNeuOS全系使用C#/JS/CSS/PYTHON開發，所以優先選擇C#實現計算平臺的開發，當然也不排除使用scala和python等語言。最近微軟發布.Net for Spark組件，與 .NET Standard 2.0 兼容，可以在 Linux、macOS 和 Windows 系統上使用，就像 .NET 的其余部分一樣。在網上進行了調研，下圖展示了 .NET Core 與 Python、Scala 在 TPC-H 查詢集上的性能對比。如下圖：

        在github上看了源代碼，代碼質量比較高。最近兩天進行了應用及測試，整體流程已經走通，感覺比較清爽。

2.系統環境

         操作系統：Ubuntu 16.04

         開發語言：.Net Core 2.2

         計算框架：.Net for Spark

         開發工具：VSCODE

         測試工具：netcat

3.環境部署

      3.1安裝 .Net Core 2.2

          參見安裝過程：https://dotnet.microsoft.com/download/linux-package-manager/ubuntu16-04/sdk-current

      3.2安裝 .Net for Spark及代碼實現

         參見安裝過程：https://github.com/dotnet/spark/blob/master/docs/getting-started/ubuntu-instructions.md

         Program.cs實現的代碼參見：https://github.com/dotnet/spark/blob/master/examples/Microsoft.Spark.CSharp.Examples/Sql/Streaming/StructuredNetworkWordCount.cs

     3.3安裝 netcat

4.開發調試

     4.1啟動netcat

    主要用于實時發送字符串，實現字符串統計。

    4.2啟動調試模式

    在程序集目錄：HelloSpark/bin/Debug/netcoreapp2.2下。

     不執行這個命令，在vscode調試的時候，會出現異常：[Exception] [JvmBridge] Connection refused 127.0.0.1:5567。

    4.3啟動vscode調試

    在main函數的第一行增加一行測試代碼：

      主要用于連接netcat服務，接收netcat發送過來的字符串，并進行字符串統計。如下圖：

     4.4調試過程

     打開“4.1啟動netcat”和“4.2啟動調試模式”窗口，netcat用于發送數據，調試模式窗口可以接收到數據并進行統計。如下圖：

上述內容就是.Net for Spark如何實現WordCount 應用及調試入坑分析，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。