複雑なmap-reduceジョブを実行するためのワークフローツールを探しています。私はOozieを念頭に置いていますが、カスケードについても調べたいと思っています。カスケードAPIを使用して既存のM/Rジョブをチェーンするサンプルコードまたは例はありますか？また、OozieとCascadingの比較を教えてください。
2228 次
2 に答える
0
個人的に私はある程度両方をいじっていますが、カスケードで興味深いと思ったのは
1) フロー、タップ、パイプなどの単純なキーワードに関して簡潔で表現力豊かである、
2) ローカル開発と研究のための驚くべきTDDベースのアプローチ
3) 見やすいプランナー ビュー (.dot ファイル) は、プロジェクトが大きくなったときに役立つため、メンテナンスが容易です。
4) groovy、scala、cloujre を使用した DSL ベースのアプローチ。そのため、新しい言語や Hadoop の学習について心配する必要はありません。
5) シンプルなクラウド展開 (生の jar 展開としての amazon サポートなど)。
6) Java API を公開している限り、既存の pig や hive、または他の純粋な MR jar のようなものを呼び出すことができます。
7) ML および NLP 関連の作品には素晴らしい。
于 2013-10-31T07:35:50.420 に答える