1

私が遭遇したほとんどのケースは、データがHDFSの内外に移行されていた場合でした。そして、私はHadoopにまったく慣れていません!

しかし、私の要件は、単一のJCR準拠のフラットファイルリポジトリ内のさまざまなソースから大きなバイナリファイルを移動することです。私の質問は

1)Hadoopは、Xからの読み取りとYへの書き込み(両方の非HDFSシステム)シナリオに適していますか?

2)他のカスタムフレームワークまたはSpringバッチのようなものは同じ目的を果たしますか?つまり、IOとネットワークの問題にすぎないということですか?

4

1 に答える 1

1

はい、XとYが複数の接続を処理でき、データを並列に取得して保存するとパフォーマンスが向上する場合は、hadoopを使用できます。

ニーズをより適切に満たすことができるsqoopと呼ばれるフレームワークがあります。

于 2012-08-02T19:43:47.237 に答える