1

私たちが知る限り、FIWARE Lab (cosmos.lab.fiware.org) の各 Cosmos ユーザーは、HDFS で最大 5GB を使用できます。
それにDSQuotaExceededExceptionもかかわらず、ジョブによって生成されたデータが 5 GB のクォータを超えていないにもかかわらず、map-reduce Hadoop ジョブを実行するとエラーが発生します。

map-reduce ジョブの実行中に HDFS の使用状況を監視すると、次の出力が得られます。

コマンド: "while true; do date; hadoop fs -count -q . ; sleep 20; done"
フォーマット：
日にち
REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME

jue 7 月 28 日 18:50:12 CEST 2016
        なし inf 5368709120 1197734302 19 46 1389627219 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:50:34 CEST 2016
        なし inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:50:57 CEST 2016
        なし inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:51:20 CEST 2016
        なし inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:51:44 CEST 2016
        なし inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:52:07 CEST 2016
        なし inf 5368709120 2678747494 16 26 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:52:28 CEST 2016
        なし inf 5368709120 1198032544 22 35 1389528792 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:52:50 CEST 2016
        なし inf 5368709120 1197738517 19 39 1389625814 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:53:11 CEST 2016
        なし inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:53:35 CEST 2016
        なし inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:53:59 CEST 2016
        なし inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:54:22 CEST 2016
        なし inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:54:46 CEST 2016
        なし inf 5368709120 2678747494 16 27 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:55:09 CEST 2016
        なし inf 5368709120 2477420902 17 28 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:55:31 CEST 2016
        なし inf 5368709120 1197738514 19 39 1389625815 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:55:55 CEST 2016
        なし inf 5368709120 1197738514 20 48 1389625815 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:56:17 CEST 2016
        なし inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:56:40 CEST 2016
        なし inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:57:04 CEST 2016
        なし inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:57:28 CEST 2016
        なし inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:57:51 CEST 2016
        なし inf 5368709120 2678747506 16 28 895957138 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:58:13 CEST 2016
        なし inf 5368709120 1198032556 16 37 1389528788 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:58:34 CEST 2016
        なし inf 5368709120 1197738742 19 40 1389625760 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:58:56 CEST 2016
        なし inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:59:20 CEST 2016
        なし inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 18:59:43 CEST 2016
        なし inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:00:07 CEST 2016
        なし inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:00:31 CEST 2016
        なし inf 5368709120 2678747494 16 29 895957142 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:00:54 CEST 2016
        なし inf 5368709120 1076586601 22 38 1228684181 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:01:18 CEST 2016
        なし inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:01:41 CEST 2016
        なし inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:02:05 CEST 2016
        なし inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:02:29 CEST 2016
        なし inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:02:53 CEST 2016
        なし inf 5368709120 1197724648 19 41 1389630437 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:03:14 CEST 2016
        なし inf 5368709120 364004107 19 46 1667537284 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:03:36 CEST 2016
        なし inf 5368709120 197959591 20 48 1722885456 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:03:57 CEST 2016
        なし inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:04:19 CEST 2016
        なし inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:04:40 CEST 2016
        なし inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:05:02 CEST 2016
        なし inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso
jue 7 月 28 日 19:05:23 CEST 2016
        なし inf 5368709120 201060881 18 44 1722549413 hdfs://cosmosmaster-gi/user/rbarriuso

しばらくすると、実行が次の例外で終了します。

16/07/28 19:03:11 情報 mapred.JobClient: タスク ID: 試行_201604111313_157784_r_000006_0、ステータス: 失敗
org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: org.apache.hadoop.hdfs.protocol.DSQuotaExceededException: /user/rbarriuso の DiskSpace クォータを超えています: quota=5368709120 diskspace consumption=5.0g
    sun.reflect.NativeConstructorAccessorImpl.newInstance0(ネイティブメソッド)
    sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl.java:39) で
    sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27) で
    java.lang.reflect.Constructor.newInstance (Constructor.java:513) で
    org.apache.hadoop.ipc.RemoteException.instantiateException (RemoteException.java:95) で
    org.apache.hadoop.ipc.RemoteException.unwrapRemoteException (RemoteException.java:57) で
    org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3778) で
    org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3640) で
    org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2400 (DFSClient.java:2846) で
    org.apache.haで...

上記のログの最後にあるように、HDFS の最大使用量は 1.722.549.413 バイトと 201.060.881 バイトの空きクォータに相当します (参考文献によるhadoop fs -count -q)。これは、使用可能なユーザー スペースの 5 GB を合計したものではありません。
さらに、取得されたスペースは残りの空きスペースと一致しません。

残りの割り当て容量はどのように計算されますか?
を回避する方法はありますDSQuotaExceededExceptionか?

前もって感謝します。

4

1 に答える 1

0

HDFS がすべてのデータに適用されるレプリケーション係数を考慮する必要があります。デフォルトでは、これは 3 であるため、有効なクォータは 5GB/3 です。このクォータは、管理者 (私 :)) にメールで連絡することで増やすことができます。

于 2016-08-18T10:09:01.870 に答える