Luigi(批處理作業(yè)管道) v3.0.2 官方版

軟件介紹

Luigi是一款基于Python語言而開發(fā)的開源數(shù)據(jù)流框架，我們可以通過Luigi免費(fèi)版來解決批處理過程相關(guān)的所有管道問題，并且還可以進(jìn)行工作流管理、可視化等多種簡易操作哦！

Luigi軟件簡介

Luigi 是一個(gè) Python 模塊，可以幫你構(gòu)建復(fù)雜的批量作業(yè)管道。處理依賴決議、工作流管理、可視化展示等等，內(nèi)建 Hadoop 支持。它也被Foursquare，Stripe，華爾街日?qǐng)?bào)，Groupon和其他知名企業(yè)使用。

Luigi是基于代碼的，而不是基于GUI或聲明式的，包含Python中的所有內(nèi)容（包括依賴關(guān)系圖）。用戶界面（UI）允許您搜索，過濾或監(jiān)視每個(gè)任務(wù)的狀態(tài)。您還可以查看該工作流程，以查看依賴關(guān)系圖上的哪些任務(wù)已完成，哪些尚未運(yùn)行。

軟件功能

Task

每一個(gè)任務(wù)都是一個(gè)Task，以class的形式存在，繼承l(wèi)uigi.Task。需要重載requires()、run()、output()方法。

其中requires()是任務(wù)入口程序，指定任務(wù)依賴的上游輸入；run()是任務(wù)在該節(jié)點(diǎn)具體實(shí)現(xiàn)的流程；output()是任務(wù)的出口，把該節(jié)點(diǎn)執(zhí)行完之后的結(jié)果輸出到下游。

Target

廣義地講，Target可對(duì)應(yīng)為磁盤上的文件，或HDFS上文件,或checkpoint點(diǎn)，或數(shù)據(jù)庫等。對(duì)于Target來說，唯一需要實(shí)現(xiàn)的方法為exists,返回為True表示存在，否則不存在返回為False. 在實(shí)際應(yīng)用時(shí)，寫一個(gè)Target子類是很少需要用到的。直接使用開箱即可用的LocalTarget及 hdfs.HdfsTarget類就夠用了。Luigi提供了Gzip支持，通過參數(shù)format=format.Gzip即可。

parameter

parameter等效于luigi為task類創(chuàng)建構(gòu)造函數(shù)，Luigi中提供了不同類型的parameter，例如DateParameter，DateIntervalParameter，IntParameter,FloatParameter等等。

python不是一個(gè)靜態(tài)類型的語言，你不需要指定參數(shù)的類型，你可以直接使用基類Parameter。