0

ファイル指向のトランザクションの処理の段階を処理することを推奨する優れたフレームワークを持っている人はいますか？私たちのシナリオは単純です-ファイルを受け取り、それを検証します。何か問題がある場合は、中止してレポートを生成します。ファイルに問題がなければ、次の段階に進みます。いくつかの段階で、いくつかの有効なデータを抽出してさらに処理することができ、いくつかの無効なデータは保持され、エラーが報告されます。

ESBを使用してこれを行うことができると主張することもできますが、シェルスクリプトやcronジョブを使用するよりも少し自動化されたものを本当に探しています。

これらのファイルの監視、移動、およびジョブトリガータスクに推奨する優れたオープンソースフレームワークを持っている人はいますか？

4

1 に答える 1

2

非常に小規模

incron（inotifyベースのcron）とすべてのジョブを単一のスクリプトとして。

非常にシンプルで、ファイルを指定されたディレクトリにドロップでき、ジョブはスクリプトに自動的に送信されます。

ただし、これには、ロギングとファイルシャッフルを自分で実装する必要があります。また、成功またはエラーをログに記録/送信するときに必要なジョブを識別するための（単純な）フレームワークを実装する必要があります。

/var/processing/incoming/job1/ IN_CLOSE_WRITE /usr/local/bin/job1.bin $@/$#

中小規模

セロリと共有ストレージ*。

セロリをセットアップするための初期投資はそれだけの価値があり、エラー報告と堅固な処理フレームワークが得られます。

中小規模

遅延ジョブと共有ストレージ*。

セロリのようですが、ルビー特有です。きちんとしたGUIを持っています。

大規模（キック専用）

LuigiとHadoop

処理用のLuigi、ジョブデータの保存と提供用のHadoop。

共有ストレージ*：NFSは、ノード間でファイルを共有するための最も簡単な方法です。ファイルをストレージソリューションに送信し、関連するフレームワークに送信されたジョブでそのファイルへの参照を送信します。

完全開示：私はSpotifyで働いています。

于 2012-12-04T19:09:02.907 に答える