問題タブ [spark-shell]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
windows - Windows の Git Bash で Spark-shell をセットアップする
mysystem の他のソフトウェアでこの問題に直面したことはありません。ウィンドウターミナル/コマンドプロンプトとGit-Bashですべてをインストールして実行できます
最近、Sparkの学習を始めました。すべての JAVA_HOME、SCALA_HOME、hadoop winutils ファイルを設定する Spark をインストールしました。Spark-shell と pyspark-shell は両方とも、コマンド プロンプト/ウィンドウ ターミナル、および pyspark lib を介した Jupyter で完璧に動作しています。
しかし、Git Bashの場合はわかりません(管理者権限で試しました)。spark-shell または pySpark を実行しようとすると、次のエラーが発生します。
解決策を検索したところ、.bashrc または spark-env-sh で環境変数を設定していることがわかりました。pySpark シェルに次のように設定します。
それもうまくいきませんでした。spark-class ファイルでエラーをトレースバックすると。そのとおりです： 96行目
私の質問、
- このエラーの理由は何ですか?どうすれば解決できますか?
- Git Bash for Windows で spark-shell をセットアップするための明確に定義された手順はありますか (ネット上でしっかりしたものを見つけることができません)?
ありがとう。
apache-spark - Spark 構成、org.apache.spark.shuffle.FetchFailedException 接続に失敗しました
Hadoop 3.1.0 と spark 2.4.7 を 4 つの仮想マシンにインストールしました。全部で 32 個のコア、128G のメモリがあります。スパークシェルテストを実行しています
私は次のパラメータで遊んでいます
ぶつかっorg.apache.spark.shuffle.FetchFailedException Failed to connect 192.168.0.XXX
たり、WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
これらのパラメーターやその他のパラメーターを微調整するための一般的なガイドはありますか?