ログファイルを Hadoop に取り込もうとしています。
oozie を使用して取り込みタスク (spark で記述) をトリガーし、oozie にファイル名をタスクに渡させたいと考えています。
ログファイルは次のように設定されると思います。
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log1/Log1.log
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log1/Log1.1.log
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log1/Log1.2.log
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log2/Log2.log
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log2/Log2.1.log
/example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log2/Log2.2.log
（等）。
1. oozie に /example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log1 の下のすべてのファイル名を生成させる方法/そしてそれを私のアプリに渡します。と
- Oozie に /example/${YEAR}-${MONTH}-${DAY}-${HOUR}:${MINUTE}/Log2/ の下のすべてのファイル名を並行して生成させ、それを 2 回目の呼び出しに渡す方法私の仕事の。