問題タブ [spark-ec2]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - spark-ec2 スクリプトを使用して EC2 でクラスターを起動しようとすると、SSL キーが正しくありませんか?
Apache Spark のバージョン: spark-1.2.1-bin-hadoop2.4 プラットフォーム: Ubuntu
spark-1.2.1-bin-hadoop2.4/ec2/spark-ec2 スクリプトを使用して、テスト用に ec2 に一時クラスターを作成しています。すべてがうまく機能していました。
次に、クラスターを起動しようとすると、次のエラーが発生し始めました。
[Errno 185090050] _ssl.c:344: エラー:0B084002:x509 証明書ルーチン:X509_load_cert_crl_file:システム ライブラリ
これを spark_ec2.py スクリプトの次の行までたどりました。
conn = ec2.connect_to_region(opts.region)
したがって、スクリプトが初めて ec2 とやり取りするときに、このエラーがスローされます。Spark は Python boto ライブラリ (Spark ダウンロードに含まれています) を使用してこの呼び出しを行います。
私が得ているエラーは、どこかのcacert.pemファイルが悪いためだと思います。
私の質問: spark-ec2 スクリプトを呼び出そうとすると、どの cacert.pem ファイルが使用されますか? また、なぜ機能しないのですか?
spark-1.2.0-bin-hadoop2.4 でもこのエラーが発生しました
apache-spark - Apache Spark EC2スクリプトはスレーブを起動しますが、マスターは起動しません
Apache Spark EC2 スクリプトを使用してクラスターを起動しているときに、ポケットに当たり始めているバグを発見しました。スレーブの数を指定する場合: 制限以上の数を入力すると、クラスタは最大数のスレーブで起動されますが、マスターは起動されません! これにより、スレーブ、つまりクラスターを制御できなくなります。
Apache Spark EC2 スクリプトを使用してマスターのみを起動する方法が見つかりませんでした。マスター用のスペースを確保するために、スレーブの 1 つを手動でシャットダウンしました。ただし、スクリプトを再起動しようとすると、次のように表示されます。
これを克服するには、AWS コンソールにログインし、すべてのクラスターを終了してから再起動する必要があります。Amazon は 1 時間ごとに課金されるため、クラスターの最大数に相当する 1 時間分の料金が請求されます。すべて無料です。
スレーブが既に存在する場合にマスターを起動する方法はありますか?
amazon-web-services - Apache Spark EC2 c4.2xlarge が起動しない
Apache Spark EC2 スクリプトを使用して EC2 クラスター (c4.2xlarge) を起動しようとすると、次のエラーが発生します。
修正はありますか？
amazon-web-services - aws_security_token を使用した spark spark-ec2 認証情報
現在、spark-ec2 スクリプトhttps://spark.apache.org/docs/latest/ec2-scripts.htmlを、:aws_access_key_idおよびだけaws_secret_access_keyでなく、が含まれていますaws_security_token。
スクリプトを実行しようとすると、次のエラー メッセージが表示されます。
何が間違っている可能性があるのか 誰かが考えていますか？問題はaws_security_tokenありますか？Sparkの問題というよりも、ボトのように思えるかもしれません。
私は両方を試しました：
1)~/.aws/credentialsおよび で資格情報を設定する~/.aws/config
2) コマンドによる資格情報の設定:
私の起動コマンドは次のとおりです。
apache-spark - Apache Spark のバージョンアップ方法
現在、spark-ec2.sh スクリプトを使用して AWS に Spark 1.5.0 バージョンをインストールしています。
今、Spark のバージョンを 1.5.1 にアップグレードしたいと考えています。どうすればいいですか？アップグレード手順はありますか? それとも、spark-ec2 スクリプトを使用して最初からビルドする必要がありますか? その場合、既存の構成がすべて失われます。
お知らせ下さい
ありがとう