問題タブ [sparkling-water]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - CDH-5.10.2 の RSparkling で「バッチ UDP バイトを送信するときに IO エラーが発生しました: java.net.ConnectException: 接続が拒否されました」が継続的に発生する
この RSparkling の例をオフラインの CDH-5.10.2 クラスターで実行しようとしています。私の環境は次のとおりです。
- スパーク 1.6.0;
- スパークラー 0.6.2;
- h2o 3.10.5.2;
- rsparkling 0.2.1.
この PRを適用した基本的に 1.6.12 のカスタム Sparkling Water JAR を使用します。
接続が成功した後:
H2O コンテキストを作成します。
H2O コンテキストの作成には数分かかります (最初の奇妙なことです)。
作成後、アプリケーションはさらに数分間応答しなくなります (Spark マスター UI にも到達できなくなります)。現時点では、H2O ログは出力されません。
その後、H2O ログが表示されますが、ほとんどの場合、次のメッセージが含まれています。
間にこれらのものはまれです：
次に、H2O とは関係のない次のコードが高速に実行されます。
しかし、H2O が再び活躍しなければならない場合:
アプリケーションが再びハングします (現時点では、20 分程度ハングしています)。
このコードを複数回再実行しようとしましたが、一度は成功しましたが、通常はハングします。これをトラブルシューティングする方法は?
CPU、RAM、およびディスクの使用状況を確認しましたが、これらはすべて問題ないようです。明らかなネットワークの問題もありません。
更新 1。ConnectExceptionの結果にすぎないのかもしれませんK/V:Zero + POJO:661.8 MB + FREE:306.7 MB == MEM_MAX:968.5 MB。そこで、H2O の最大メモリを増やす方法 (および、そもそも 1 GB を下回る理由) を見つけようとします。
h2o - コンテキストの作成時に h2o で例外を取得する
Spark 1.6.3 で h2o contetx を作成しようとすると、コードで以下の例外が発生します。
編集:POMファイルを添付しました。長いファイルですが、依存関係が示されています。依存関係に何か問題があるはずだと思います。
モデルの作成は、次のように livyclient によって簡単に行われます。
上記の InitializeH2OModel(ctx) は、モデルをトレーニングするためのスパーク フレームを生成する複雑な関数です。プログラムは、h2o コンテキスト「H2OContext h2oContext = H2OContext.getOrCreate(ctx.sc().sc());」を開始する行まで正しく実行できます。
livy に追加する構成パラメーターは次のとおりです。
上記の HDP 2.6.2 を Spark 2.1.1 のクラスター モードで実行しています。