問題タブ [sparklyr]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - sparklyr + rsparkling: クラスターへの接続中にエラーが発生しました
しばらくの間、sparklyrパッケージを使用して、コードを使用して会社の Hadoop クラスターに接続しています。
rsparklingすべて正常に動作しますが、同様のコードを使用してパッケージを追加しようとすると:
エラーが発生します：
force(code) のエラー:
sessionid (9819) のポート (8880) への sparklyr への接続中に失敗しました: Sparklyr ゲートウェイは、60 秒後にポート情報を取得中に応答しませんでした パス: /opt/spark-2.0.0-bin-hadoop2. 6/bin/spark-submit パラメータ: --class, sparklyr.Backend, --packages, 'ai.h2o:sparkling-water-core_2.11:2.0','ai.h2o:sparkling-water-ml_2.11: 2.0','ai.h2o:sparkling-water-repl_2.11:2.0', '/usr/lib64/R/library/sparklyr/java/sparklyr-2.0-2.11.jar', 8880, 9819---- 出力ログ ----
Ivy Default Cache set to: /opt/users/user/.ivy2/cache 格納されているパッケージの jar: /opt/users/user/.ivy2/jars :: 設定の読み込み:: url = jar:ファイル:/opt/spark-2.0.0-bin-hadoop2.6/jars/ivy-2.4.0.jar!/org/apache/ivy/core/settings/ivysettings.xml ai.h2o #sparkling-water-core_2.11 依存関係として追加 ai.h2o#sparkling-water-ml_2.11 依存関係として追加 ai.h2o#sparkling-water-repl_2.11 依存関係として追加 :: 依存関係の解決 :: org. apache.spark#spark-submit-parent;1.0 confs: [デフォルト]---- エラー ログ ----
さらに: 警告メッセージ: 1: In if (nchar(config[[e]]) == 0) found <- FALSE : 条件の長さは 1 で、最初の要素のみが2: In if (nchar(config[[e]]) == 0) found <- FALSE : 条件の長さは 1 で、最初の要素のみが使用されます
私は初めてでspark、clusters今何をすべきかよくわかりません。どんな助けでも大歓迎です。私が最初に考えたのは、サイドのjarファイルが見つからないということでした。そうですか?sparkling watercluster