1

AmazonEMRにデフォルト構成のhadoop+hbaseクラスターがあるため、との両方がmapred.child.tmpをhbase.tmp.dir指し/tmpます。私たちのクラスターはしばらくの間実行されていましたが、実際のデータ/tmpの70Gbと比較して、現在は500Gbです。/hbase

このような違いは大きすぎるようですが、一部の/tmpデータを定期的に削除することになっていますか？

4

1 に答える 1

1

調査の結果、/tmpデータの大部分は、AmazonによるHbaseのS3への自動バックアップ中に失敗したmapreduceタスクによって作成されたことがわかりました。成功したmapreduceタスクは、に多くのデータを残しません/tmp。

Amazonの自動バックアップを無効にし、テーブルのインポート/エクスポートにHbaseツールを使用して独自のバックアップスクリプトを実装することにしました。

于 2012-10-01T06:15:29.910 に答える