2

1 日あたり 300 GB のログ ファイルを処理する必要があります ( Import-> Convert to other format-> Upload)。

選択するのに最適なテクノロジーはどれですか? Spring BatchまたはApache Hadoop ? 私はこれらのテクノロジーに非常に慣れていないため、制限を追跡できませんでした。さらに、ファイルサイズは日々無制限に大きくなる可能性があります。これとは別に、特定のハードウェア 3 台の Sun Blade Server と災害復旧方式を使用してアプリケーションを設計する必要があります。提案してください。

4

1 に答える 1

0

それが単なるファイル形式の変換である場合、ファイルを途方もなく並列に配布できるチャンクに分割できない限り、Hadoop を使用しても意味がありません。

さらに、これらの情報をこれ以上保存/インデックス作成/処理する必要がない場合は、どこかに保存しておく必要はありません。

最後になりましたが、全体的な計算コストの一部として、ファイルをユニットに分割するコストを評価してください。

于 2012-12-31T11:19:21.193 に答える