您好,登錄后才能下訂單哦!
這篇文章的內容主要圍繞大數據工作流Oozie怎么理解進行講述,文章內容清晰易懂,條理清晰,非常適合新手學習,值得大家去閱讀。感興趣的朋友可以跟隨小編一起閱讀吧。希望大家通過這篇文章有所收獲!
因為工作需要用到oozie,但是網上的資料越看越迷茫,經過很大的努力,終于折騰清楚了,這里,做一個總結,幫助后來者更好地進行入門,當然,粗鄙之言,難免疏漏,歡迎交流指正。
提供Hadoop任務的調度和管理,不僅可以管理MapReduce任務,還可以管理pig、hive、sqoop、spark等任務,Oozie就是一個基于hadoop的工作流引擎。
兩個主要組件:
工作流定義組件:一系列Action個的列表(Action就是一個任務節點,eg:MapReduce任務、pig任務、hive任務等)
調度器組件:可調度的WorkFlow(workflow就是定義一個DAG的任務圖,而調度器可以決定在某個時間或符合條件執行DAG(有向無環圖 Direct Acyclic Graph)任務圖)
Oozie工作流定義中的兩種節點:
控制流節點:用于定義邏輯判斷,eg:start、end、控制流程執行路徑
動作節點:用戶執行任務節點:hadoop任務、Oozie子流程
定義一個完整Oozie工作流需編寫3個文件
1、workflow.xml:(必需)定義工作流任務(需放到HDFS上)
2、config-default:(可選) 包括所有工作流共享的屬性值
3、job.properties: (必需)針對每個工作流的屬性值
感謝你的閱讀,相信你對“大數據工作流Oozie怎么理解”這一問題有一定的了解,快去動手實踐吧,如果想了解更多相關知識點,可以關注億速云網站!小編會繼續為大家帶來更好的文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。