2

Hadoop でいくつかの Pig スクリプトを順次実行する必要があります。これらは個別に実行する必要があります。助言がありますか?

アップデート

1 つの Java クラスから Pig スクリプトを実行できるように取り組んでいることを簡単にお知らせします。Oozie は、コメントで言及された可能性です (ただし、私たちのニーズには重すぎます)。カスケード ( http://www.cascading.org/ )のより大きなジョブ フローの一部として Pig スクリプトを編成することも可能であると聞いたので、少し調べてみました。

4

2 に答える 2

2

単純な一連のタスクについては、orangeoctopus が提案したものでおそらく十分だと思います。Pig および/または単純なバニラ MapReduce のより複雑なワークフローをまとめたい場合は、おそらくOozieを検討する必要があります。

アップデート :

pig 0.9 を使用している場合は、python などの言語に pig を埋め込むことを検討することもできます。リンクはこちら

于 2011-07-26T18:43:34.697 に答える
1

実際には、Pigスクリプトの大部分をbashスクリプトでラップしています。シェルスクリプト内で順次実行を制御できます。

pig myscript1.pig && pig myscript2.pig && pig myscript3.pig

于 2011-07-25T01:28:46.747 に答える