91超碰碰碰碰久久久久久综合_超碰av人澡人澡人澡人澡人掠_国产黄大片在线观看画质优化_txt小说免费全本

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Cloudera流分析中如何引入FlinkSQL

發布時間:2021-12-21 09:28:14 來源:億速云 閱讀:153 作者:柒染 欄目:大數據

這篇文章將為大家詳細講解有關Cloudera流分析中如何引入FlinkSQL,文章內容質量較高,因此小編分享給大家做個參考,希望大家閱讀完這篇文章后對相關知識有一定的了解。

由Apache Flink提供支持的Cloudera Streaming Analytics的1.2.0.0版本提供了廣泛的  新功能  ,包括通過  Apache Atlas  支持血緣和元數據跟蹤,支持連接到  Apache Kudu  以及期待已久的  FlinkSQL   API 的第一次迭代。  
Flink的SQL接口使流處理民主化,因為它可以迎合比當前廣泛使用的Java和Scala API(面向數據工程人群)更大的社區。將SQL推廣到流處理和流分析用例提出了一系列挑戰:我們必須解決表達無限流和記錄的及時性的問題。讓我們考慮以下查詢:
SELECT  userId,  
 COUNT(*) AS count,
 
 SESSION_START(clicktime,
 INTERVAL '30' MINUTE)
FROM clicksGROUP BY  
 SESSION(clicktime, INTERVAL '30' MINUTE)

 userId
該查詢產生每個用戶會話的點擊計數,該計數由會話之間30分鐘的不活動狀態定義,并在遇到新會話時實時更新。這是在流處理中已經很好建立的概念的示例,在這種情況下,會話窗口被引入到SQL語法中以表示記錄的及時性。重要的是要強調Flink支持的語法是ANSI SQL,它不是特定的方言。實際上,Flink社區正在與Apache Beam和Apache Calcite社區合作,以  統一的方式 應對FlinkSQL的挑戰。    
 
轉換到流處理組織
從上述查詢來看,很明顯,更大的用戶群可以有效地制定查詢,從而為企業增加價值。但是,它給組織帶來了以下問題:  

1) 在流媒體領域中可以用SQL制定多少業務邏輯?

2) 這如何改變從開發到生產的流式作業旅程?

3) 這如何影響數據工程團隊的范圍?

我們認為,今天編寫的大多數流查詢都可以通過FlinkSQL表示,以提供有根據的猜測,我們希望它能達到今天遇到的流查詢的80%左右,這很適合通過此SQL實現API。首先,這似乎有些夸大其詞,我們將在下一部分中詳細介紹。
當前,我們經常遇到使用Flink的組織,其中近實時獲得業務價值是數據工程師的特權。數據分析人員通常是特定領域知識的專家,他們傾向于使用標準MPP或OLAP系統中存儲的這些流的快照,例如通過Apache Impala查詢存儲在Kudu中的數據。這從本質上引入了尋找以流的方式對其進行洞察和生產化。分析師在證實其假設之后,必須與幾個數據工程師確保數周甚至數月的項目資金投入,以細致地重新實現已經用另一種語言(通常是SQL)制定的業務邏輯。FlinkSQL使分析人員可以直接與流進行交互,并單擊按鈕即可部署流作業。
反過來,這又解放了數據工程師,使他們可以專注于具有挑戰性的20%的查詢,并建立可重用的特定領域的庫,這些庫可以直接從SQL中作為一組用戶自定義函數加以利用。 

 
FlinkSQL的功能
為了展示FlinkSQL的功能,我們最近在我們的標準  教程套件 下發布了  SQL   教程 。讓我們在這里重點介紹一些功能。  
小編針對Apache Kafka主題進行操作,其中包含JSON格式的事務條目。讓我們為此定義一個表Schema,并指定我們要測量timestamp列記錄的時間的流逝(稱為  event-time語義 )。
CREATE TABLE ItemTransactions (transactionId    
BIGINT,`timestamp`    
BIGINT,itemId    
STRING,
quantity INT,
event_time AS CAST(from_unixtime(floor(`timestamp`/1000)) 
AS TIMESTAMP(3)),WATERMARK FOR event_time 
AS event_time - INTERVAL '5' SECOND) WITH ('connector.type'      = 'kafka','connector.version'   = 'universal','connector.topic'     = 'transaction.log.1','connector.startup-mode' = 'earliest-offset','
connector.properties.bootstrap.servers' = '<broker_address>','format.type' = 'json');
請注意,在使用事件時間語義時,我們必須指定水印以為Flink提供啟發式方法以測量事件時間的經過。這可以是返回時間戳的任意表達式。在較高級別上,水印指定了正確性(無限期等待潛在的延遲到達)和延遲(盡可能快地產生結果)之間的折衷。
創建上表后,我們可以提交以下查詢:


SELECT * FROM ItemTransactions LIMIT 10;SELECT TUMBLE_START(event_time, INTERVAL '10' SECOND) as window_start, itemId, sum(quantity) as volumeFROM ItemTransactionsGROUP BY itemId, TUMBLE(event_time, INTERVAL '10' SECOND);
第一個查詢提供了直接的采樣。使用limit子句是可選的,省略會導致結果以流方式不斷更新。第二個查詢實現一個簡單的窗口聚合。這些查詢的結果可以返回到交互式Flink SQL cli,或者可以通過INSERT INTO語句直接寫入輸出表。
FlinkSQL還提供了更復雜的子句,例如,可以按以下公式來查找在每10分鐘的窗口中交易次數最多的前3個項目:


SELECT * FROM ( SELECT * , ROW_NUMBER() OVER (   PARTITION BY window_start   ORDER BY num_transactions desc ) AS rownum FROM (   SELECT TUMBLE_START(event_time, INTERVAL '10' MINUTE) AS window_start, itemId, COUNT(*) AS num_transactions   FROM ItemTransactions   GROUP BY itemId, TUMBLE(event_time, INTERVAL '10' MINUTE) ))WHERE rownum <=3;
除了這些內置語言元素之外,您還可以將以Java和Scala實現的  功能 注冊到FlinkSQL環境。 
FlinkSQL還支持訪問外部目錄以訪問存儲在外部系統中的Schema和數據,當前,我們支持Hive,Kudu和Schema Registry目錄。

 
后續步驟
在當前版本中,提交SQL查詢的兩個選項是使用SQL CLI或將它們包裝到Java程序中。正如我們在最近的  主題演講中 所討論的,我們正在積極開發圖形用戶界面,以幫助進行交互式查詢編輯。  
Cloudera流分析中如何引入FlinkSQL
在添加GUI之后,我們將在短期內公開其針對第三方工具的編程后端,以公開與JDBC for FlinkSQL等效的接口,該接口可能更多地基于REST和Kafka構建。

關于Cloudera流分析中如何引入FlinkSQL就分享到這里了,希望以上內容可以對大家有一定的幫助,可以學到更多知識。如果覺得文章不錯,可以把它分享出去讓更多的人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

南丹县| 昌宁县| 慈溪市| 寻甸| 台安县| 惠安县| 大石桥市| 墨玉县| 军事| 新兴县| 柳河县| 罗城| 郓城县| 塘沽区| 湘乡市| 微山县| 寻甸| 滕州市| 赞皇县| 汉沽区| 二连浩特市| 合川市| 长宁县| 合水县| 大荔县| 辽阳市| 绥中县| 河东区| 志丹县| 永福县| 嘉荫县| 庄河市| 小金县| 福建省| 连南| 合川市| 洞口县| 青田县| 石嘴山市| 宣汉县| 永年县|