ジョブフローによって作成される Hadoop インスタンスのインスタンス タイプとして m1.large を使用して Amazon EMR ジョブを実行すると、「デバイスに空き容量がありません」というエラーが表示されます。仕事は約を生成します。最大で 10 GB のデータ。m1.large インスタンスの容量は 420 GB*2 と想定されているため ( EC2 インスタンス タイプによる)）。たった 10GB のデータが「ディスク容量がいっぱいです」というようなメッセージを表示する方法がわかりません。ファイルシステムで許可されているinodeの総数を完全に使い果たした場合にも、この種のエラーが生成される可能性があることは認識していますが、それは数百万に及ぶ大きな数のようであり、私の仕事はそうではないと確信していますその多くのファイルを生成します。m1.large タイプとは別に EC2 インスタンスを作成しようとすると、デフォルトで 8GB のルート ボリュームが割り当てられることがわかりました。これが、EMR でのインスタンスのプロビジョニングの背後にある理由でもありますか? では、サイズ 420GB のディスクがインスタンスに割り当てられるのはいつですか?
また、「df -hi」と「mount」の出力は次のとおりです。
$ df -こんにちは
ファイルシステム i ノード IUsed IFree IUse% マウント
/dev/xvda1 640K 100K 541K 16% /
tmpfs 932K 3 932K 1% /lib/init/rw
udev 930K 454 929K 1% /dev
tmpfs 932K 3 932K 1% /dev/shm
ip-10-182-182-151.ec2.internal:/mapr
100G 50G 50G 50% /mapr
$マウント
/dev/xvda1 on / type ext3 (rw,noatime)
/lib/init/rw の tmpfs タイプ tmpfs (rw,nosuid,mode=0755)
/proc タイプ proc の proc (rw、noexec、nosuid、nodev)
/sys 上の sysfs タイプ sysfs (rw、noexec、nosuid、nodev)
/dev タイプ tmpfs の udev (rw,mode=0755)
/dev/shm 上の tmpfs タイプ tmpfs (rw、nosuid、nodev)
/dev/pts の devpts type devpts (rw,noexec,nosuid,gid=5,mode=620)
/var/run on /run タイプなし (rw、bind)
/var/lock on /run/lock タイプ なし (rw,bind)
/run/shm タイプの /dev/shm なし (rw、bind)
/var/lib/nfs/rpc_pipefs の rpc_pipefs タイプ rpc_pipefs (rw)
ip-10-182-182-151.ec2.internal:/mapr 上の /mapr タイプ nfs (rw,addr=10.182.182.151)
$ lsblk 名前 MAJ:MIN RM サイズ RO タイプ マウントポイント xvda1 202:1 0 10G 0 ディスク / xvdb 202:16 0 420G 0 ディスク xvdc 202:32 0 420G 0 ディスク