私は Hadoop の初心者で、クラスターを使用しており、15 GB のディスク見積もりを持っています。大きなデータセット (約 25 GB) でwordcount サンプルを実行しようとすると、常に例外が発生します。
例外発生後のディスク使用量を確認しましたが、見積もりとはかけ離れています。これは、一時ファイルまたは中間ジョブによるものですか? 一時/中間ファイルを削除することはできますか?
(Java コードで構成を変更できますが、.xml 構成ファイルに直接アクセスすることはできません)
ありがとう！;)