7

H2O7,000 万行と 25 の数値特徴を持つトレーニング セットで R 内のライブラリを使用して、ランダム フォレスト分類モデルを試しています。合計ファイル サイズは 5.6 GB です。

検証ファイルのサイズは 1 GB です。

システムには 16 GB の RAM と 8 コアの CPU があります。

システムは H2O オブジェクトの両方のファイルを正常に読み取ることができました。

次に、モデルを構築するためのコマンドを以下に示します。

model <- h2o.randomForest(x = c(1:18,20:25), y = 19, training_frame = traindata, 
                          validation_frame = testdata, ntrees = 150, mtries = 6)

しかし、数分後 (ツリーを生成せずに)、次のエラーが発生します。

「.h2o.doSafeREST のエラー (conn = conn、h2oRestApiVersion = h2oRestApiVersion、: 予期しない CURL エラー: Recv の失敗: ピアによる接続のリセット」

ただし、上記のコードを 1 つのツリーで試した場合、正常に実行されます。

上記のエラーはメモリの問題で発生していますか? どんな助けでも大歓迎です。

4

2 に答える 2

5

OutOfMemoryError です。R 側でのこのエラー メッセージのバリエーションは次のとおりです。

Error in .h2o.doSafeREST(conn = conn, h2oRestApiVersion = h2oRestApiVersion,  : 
  Unexpected CURL error: Empty reply from server

同様に行う必要があるh2oサーバーログを確認すると、次のことがわかります。

10-08 20:11:57.165 192.168.0.4:54321     2125   #58072-18 INFO: Total file size: 1.81 GB
10-08 20:11:57.165 192.168.0.4:54321     2125   #58072-18 INFO: Parse chunk size 4194304
        onExCompletion for water.parser.ParseDataset$MultiFileParseTask@3588360e
        java.lang.OutOfMemoryError: Java heap space
:
:
Exception in thread "FJ-0-11" java.lang.OutOfMemoryError: Java heap space
2015-10-08 20:13:14.493:WARN:oejut.QueuedThreadPool:1 threads could not be stopped
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-5    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.458 192.168.0.4:54321     2125   FJ-0-3    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-13   ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:23.033 192.168.0.4:54321     2125   FJ-0-7    ERRR: Out of Memory, Heap Space exceeded, increase Heap Size, from /192.168.0.4:54321
10-08 20:13:26.541 192.168.0.4:54321     2125   FJ-0-5    FATAL: Exiting.
10-08 20:13:26.574 192.168.0.4:54321     2125   FJ-0-7    FATAL: Exiting.
10-08 20:13:26.575 192.168.0.4:54321     2125   FJ-0-3    FATAL: Exiting.
10-08 20:13:26.575 192.168.0.4:54321     2125   FJ-0-13   FATAL: Exiting.

h2o Slater (3.2.0.5) でこれを実行しているため、バージョンによって異なる場合があります。

于 2015-10-09T03:26:14.880 に答える
4

おそらくあなたは記憶がありません。フォレストの成長中のシステムのメモリ使用量を調べてみてください。また、H2O Web コンソール (デフォルトではhttp://localhost:54321/ )から直接トレーニングを起動しようとすると、より詳細なエラーが発生する可能性があります。

于 2015-06-17T06:02:35.993 に答える