Apache Beam2.23.0更新了哪些內容

這篇文章主要介紹“Apache Beam2.23.0更新了哪些內容”，在日常操作中，相信很多人在Apache Beam2.23.0更新了哪些內容問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Apache Beam2.23.0更新了哪些內容”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

簡介

Apache Beam 2.23.0現已發布。Apache Beam 是 Google 在 2016 年 2 月份貢獻給 Apache基金會的項目，主要目標是統一批處理和流處理的編程范式，為無限、亂序、web-scale 的數據集處理提供簡單靈活，功能豐富以及表達能力十分強大的 SDK。Apache Beam項目重點在于數據處理的編程范式和接口定義，并不涉及具體執行引擎的實現，Apache Beam 希望基于 Beam 開發的數據處理程序可以執行在任意的分布式計算引擎上。

主要更新內容：

Highlights

• Twister2 Runner（BEAM-7304）。

• Python 3.8支持（BEAM-8494）。

I/Os

• 添加了對 Snowflake reading 的支持（Java）（BEAM-9722）。

• 增加了對寫入 Splunk 的支持（Java）（BEAM-8596）。

• 添加了對 assume role 的支持（Java）（BEAM-10335）。

• 已添加一個新的可從 BigQuery 讀取的 transform：apache_beam.io.gcp.bigquery.ReadFromBigQuery。此 transform 是實驗性的。它通過將數據導出到 Avro 文件并讀取這些文件來從 BigQuery 讀取數據。它還支持通過導出到 JSON 文件來讀取數據。與時間和日期相關的字段在行為上有很小的差異。

• 為 SnowflakeIO.write 添加 dispositions（BEAM-10343）

New Features/Improvements

更新 Snowflake JDBC 依賴關系，并將 application=beam 添加到 connection URL（BEAM-10383）。

Breaking Changes

• 在反序列化 JSON（Java）時，RowJson.RowJsonDeserializer、JsonToRow和PubsubJsonTableProvider現在默認接受“implicit nulls”。以前的 null 只能用 explicit null 值表示，例如 {"foo": "bar", "baz": null}，而像{"foo": "bar"} 這樣的 implicit null 值則會引發異常。現在，兩個 JSON 字符串默認都會產生相同的結果。可以使用用RowJson.RowJsonDeserializer#withNullBehavior來覆蓋此行為。

• 修復 Python 中GroupIntoBatches實驗轉換中的一個錯誤，該錯誤實際上是按鍵對批次進行分組的。這將更改此轉換的輸出類型（BEAM-6696）。

Deprecations

• 刪除 Gearpump runner。（BEAM-9999）

• 刪除 Apex 運行程序。（BEAM-9999）

• RedisIO.readAll() 已被棄用，將在 2 個版本中刪除，用戶必須使用 RedisIO.readKeyPatterns() 作為替代（BEAM-9747）。

到此，關于“Apache Beam2.23.0更新了哪些內容”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！