0

map-reduce を使用して、FTP からファイルを並行して読み取ろうとしています。ファイルを読み取り、その上でワードカウントを実行するコードが機能しています。ただし、入力サイズが大きい場合 (具体的には 2 MB 以上) は失敗します。Spill 0 completed メッセージで停止し、次に Map 100% Reduce 0% が表示されます。次に、サーバーによって閉じられた接続。よくわかりません。Spill 0 とはどういう意味ですか? 大きな入力に対してコードが失敗するのはなぜですか? 入力を分割して mapper に提供するにはどうすればよいですか? それは役に立ちますか?これを解決するために FileInputFormat クラスを拡張できますか? ありがとう :)

4

1 に答える 1