Oozie是什么?Oozie架構和基本原理介紹

Oozie是什么?

Oozie是一個用來管理Hadoop生態(tài)圈job的工作流調度系統(tǒng)。由Cloudera公司貢獻給Apache。Oozie是運行于Javaservlet容器上的一個javaweb應用。Oozie的目的是按照DAG(有向無環(huán)圖)調度一系列的Map/Reduce或者Hive等任務。Oozie 工作流由hPDL(Hadoop Process Definition Language)定義(這是一種XML流程定義語言)。適用場景包括：

·需要按順序進行一系列任務;

·需要并行處理的任務;

·需要定時、周期觸發(fā)的任務;

·可視化作業(yè)流運行過程;

運行結果或異常的通報。

Oozie架構

Oozie Client：提供命令行、java api、rest等方式，對Oozie的工作流流程的提交、啟動、運行等操作;

Oozie WebApp：即 Oozie Server,本質是一個java應用?？梢允褂脙戎玫膚eb容器，也可以使用外置的web容器;

Hadoop Cluster：底層執(zhí)行Oozie編排流程的各個hadoop生態(tài)圈組件;

Oozie基本原理

Oozie對工作流的編排，是基于workflow.xml文件來完成的。用戶預先將工作流執(zhí)行規(guī)則定制于workflow.xml文件中，并在job.properties配置相關的參數(shù)，然后由Oozie Server向MR提交job來啟動工作流。

Oozie流程節(jié)點

工作流由兩種類型的節(jié)點組成，分別是：

Control Flow Nodes：控制工作流執(zhí)行路徑，包括start，end，kill，decision，fork,join。

Action Nodes：決定每個操作執(zhí)行的任務類型，包括MapReduce、java、hive、shell等。

Oozie從入門到精通教程

添加QQ435946716，免費獲取【全套Oozie從入門到精通教程+講義】。

猜你喜歡

傳智教育Python+大數(shù)據(jù)開發(fā)課程