91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Apache Hudi 0.5.2版本有哪些特性

發布時間:2022-05-18 11:44:01 來源:億速云 閱讀:211 作者:iii 欄目:大數據

本文小編為大家詳細介紹“Apache Hudi 0.5.2版本有哪些特性”,內容詳細,步驟清晰,細節處理妥當,希望這篇“Apache Hudi 0.5.2版本有哪些特性”文章能幫助大家解決疑惑,下面跟著小編的思路慢慢深入,一起來學習新知識吧。

1. 遷移指南

  • Write Client模塊組織結構進行了重構,具體參見HUDI-554。現在client包包含所有事務管理的類,func包被重命名為execution,一些幫助類被移動到了client/utils中,之前所有在io包下和壓縮(compaction)相關代碼已經被移動到table/compact下。table/rollback包放置了和回滾(Rollback)操作相關代碼,一些通用類放在了table包下。上述變更僅影響依賴hudi-client模塊的用戶,使用deltastreamer/datasource的用戶不受影響,不需要做任何變更。 

2. 關鍵特性

  • 支持在hoodie.properties指定hoodie.compaction.payload.class配置項來重寫palyload實現,在此之前一旦在hoodie.properties中設置了payload類便不可更改。但是在一些情況下,比如進行代碼重構后jar包更新,可能需要傳遞新的payload實現,如果你有這種需求,不妨嘗試使用這個特性。

  • TimestampBasedKeyGenerator支持CharSequence類型,之前TimestampBasedKeyGenerator只支持DoubleLongFloatString四種分區字段類型,現在擴展到可以支持CharSequence的分區字段類型。

  • Hudi現在支持通過hoodie.datasource.read.incr.path.glob配置項來指定分區進行增量拉取,一些場景下用戶只需要增量拉取部分分區,這樣通過只加載相關Parquet數據文件來加速數據拉取。

  • 0.5.2版本支持在GLOBAL_BLOOM索引下,允許分區路徑更新。在此之前設置GLOBAL_BLOOM索引,更新的記錄有不同的分區路徑時,Hudi會忽略新的分區路徑并在之前舊分區更新記錄,現在Hudi支持在新的分區插入數據并且刪除老的分區數據,通過hoodie.index.bloom.update.partition.path=true配置項可以開啟這個特性。

  • 0.5.2版本通過提供JdbcbasedSchemaProvider來支持通過JDBC獲取元數據。這對于一些想從MySQL同步數據并且想從數據庫中獲取schema的用戶非常有用。

  • 0.5.2版本對于HoodieBloomIndex索引已不再有2GB大小的限制,在spark 2.4.0版本之前,每個spark分區有2GB大小的限制,在Hudi 0.5.1時將spark的版本升級到了2.4.4,現在便不再有任何限制,因此移除了HoodieBloomIndex中對于安全并行度的計算邏輯。

  • CLI相關變更

  1. 允許用戶指定配置項來打印附加的commit元數據,比如Log Block總數,Rollback Block總數,壓縮、更新總條數等等。

  2. 支持temp_querytemp_delete來查詢和刪除臨時視圖,該命令會創建一個臨時表,用戶可以通過HiveQL來查詢該表數據,如

java temp_query --sql "select Instant, NumInserts, NumWrites from satishkotha_debug where FileId='ed33bd99-466f-4417-bd92-5d914fa58a8f' and Instant > '20200123211217' order by Instant"

讀到這里,這篇“Apache Hudi 0.5.2版本有哪些特性”文章已經介紹完畢,想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會,如果想了解更多相關內容的文章,歡迎關注億速云行業資訊頻道。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

临夏市| 招远市| 萨嘎县| 信阳市| 大港区| 蚌埠市| 黄石市| 舟山市| 章丘市| 泰顺县| 万载县| 法库县| 崇文区| 于田县| 易门县| 云浮市| 盘山县| 香格里拉县| 柳江县| 商河县| 西乌| 公主岭市| 德江县| 正蓝旗| 乐清市| 枣阳市| 白玉县| 乌恰县| 龙江县| 呼伦贝尔市| 钟祥市| 旺苍县| 呈贡县| 贺兰县| 碌曲县| 高尔夫| 黔西| 鄂州市| 永城市| 隆回县| 开封市|