Windows 環境で Spark と Hadoop をセットアップするためのチュートリアルをいくつか試しましたが、特に R と一緒に使用しました。 このチュートリアルでは、図 9 に到達するまでにこのエラーが発生しました。
Rstudio のこのチュートリアルでも問題が発生しています。に着いたら
sc <- spark_connect(master = "local")
ステップ、私はこのおなじみのエラーが表示されます:
Error in force(code) :
Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library\3.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652
---- Output Log ----
The system cannot find the path specified.
---- Error Log ----
このポートの問題は、Ms. Zaidi のチュートリアル (こちら"yarn-client"
) から試したときに、パラメーターを内部に割り当てようとしたときに発生する問題と似ています。(このチュートリアルには独自の問題があり、興味のある方はこちらの掲示板に投稿しました。)spark_connect(...)
Ubuntu VM を最初にインストールする場合は、TutorialsPointウォークスルーでうまくいきますが、私は Microsoft R(RO) を使用しているので、Windows でこれを理解したいと思います。では実行できないコマンドを実行できる最初のチュートリアル.\bin\sparkR
。
最も一般的には、Windowsで、できればsparklyrを使用してSparkをRと一緒にインストールして実行する方法を理解しようとしています。
更新 1: これは、ディレクトリにあるものです。
更新 2: これは私の R セッションとシステム情報です
platform x86_64-w64-mingw32
arch x86_64
os mingw32
system x86_64, mingw32
status
major 3
minor 3.1
year 2016
month 06
day 21
svn rev 70800
language R
version.string R version 3.3.1 (2016-06-21)
nickname Bug in Your Hair