flink進階富函數生命周期是什么

今天小編給大家分享一下flink進階富函數生命周期是什么的相關知識點，內容詳細，邏輯清晰，相信大部分人都還太了解這方面的知識，所以分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后有所收獲，下面我們一起來了解一下吧。

end-to-end exactly-once

exactly-once只能保證Flink內部狀態的一致性。而這個語義主要依賴Checkpoint機制。

在外部交互的一致性則無法保證，端到端的Exactly-Once問題是分布式系統領域最具挑戰性的問題之一，很多框架都在試圖攻克這個難題。

Flink的exactly-once主要依賴Source和Sink提供的一些功能。Source需要支持重發功能，Sink需要采用一定的數據寫入技術，比如冪等寫或事務寫。

對于Source重發功能，只要我們記錄了輸入的偏移量Offset，故障重啟后數據發送方從該Offset重新開始發送數據即可。Kafka的Producer除了發送數據，還會將數據持久化寫到日志文件中。如果下游應用重啟，Producer根據下游提供的Offset，從持久化的文件中定位到數據，可以重新開始向下游發送數據。

Source的重發會導致一條數據被處理多次，為了保證只對下游系統產生一次影響，還需要依賴Sink的冪等寫或事務寫。

富函數

“富函數”是DataStream API提供的一個函數類的接口，所有Flink函數類都有其Rich版本。它與常規函數的不同在于，可以獲取運行環境的上下文，并擁有一些生命周期方法，所以可以實現更復雜的功能。

富函數舉例

**RichMapFunction **

**RichFlatMapFunction **

**RichFilterFunction **

Rich Function有一個生命周期的概念。典型的生命周期方法有：

• open()方法是rich function的初始化方法，當一個算子例如map或者filter被調用之前open()會被調用。

這里可以做一些初始化工作，例如建立一個和數據源的連接

• **close()方法是生命周期中的最后一個調用的方法，做一些清理工作。 **

這里做一些清理工作，例如斷開和數據源的連接。

• getRuntimeContext()方法提供了函數的RuntimeContext的一些信息，例如函數執行的并行度，任務的名字，以及state狀態

其他的和FlatMapFunction算子的重寫方法類似。

以上就是“flink進階富函數生命周期是什么”這篇文章的所有內容，感謝各位的閱讀！相信大家閱讀完這篇文章都有很大的收獲，小編每天都會為大家更新不同的知識，如果還想學習更多的知識，請關注億速云行業資訊頻道。