問題タブ [apache-spark-standalone]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - ドライバーがシャットダウンを命令した後、Spark ワーカーが停止しました
基本的に、マスター ノードはスレーブの 1 つとしても機能します。マスターのスレーブが完了すると、SparkContext を呼び出して停止するため、このコマンドは処理の途中で実行を停止するすべてのスレーブに伝達されます。
ワーカーの 1 つのエラー ログ:
情報 SparkHadoopMapRedUtil: 試行_201612061001_0008_m_000005_18112: コミットされました
INFO Executor: ステージ 8.0 でタスク 5.0 を完了しました (TID 18112)。2536 バイトの結果がドライバーに送信されます
INFO CoarseGrainedExecutorBackend: ドライバーがシャットダウンを命令しました
エラー CoarseGrainedExecutorBackend: 受信シグナル TERMtdown
apache-spark - Spark スタンドアロン クラスター マネージャーで HDFS を使用するマルチノード クラスターで spark-submit を使用してカスタム log4j.xml ファイルを送信する方法
spark-submit を使用して Java jar を送信し、スタンドアロン クラスター マネージャーを起動しています。しかし、カスタム log4j.xml ファイルを提供することはできません。--files オプションを使用した場合、その log4j ファイルを同じ位置にあるすべてのマシンにコピーする必要があります。または、hdfs:// パスを使用して指定した場合、そのファイルを log4j として取得せず、デフォルトの log4j ファイルに切り替えます。
また、ローカル パスと hdfs パスの両方で -Dlog4j.configuration を使用しましたが、--files を使用した場合と同じ問題が発生しています。
解決策を知っている人がいたら教えてください
前もって感謝します。
apache-spark - ストリーミング コンテキストを停止せずにストリーミング コンテキストを開始したら、dstream を作成する方法はありますか
Spark Streaming を使用してストリーミング アプリケーションを開発しました。アプリケーションの実行を開始すると、kafka で各トピックの dstream が作成されます。次に、ストリーミング コンテキストを開始します。新しいトピックの dstream を作成して、kafka に追加しました。ストリーミング コンテキストを停止しています。
apache-spark - play-framework conf/application.conf ファイルで Spark スタンドアロン マスター URL を設定するには?
Play アプリケーションを Spark スタンドアロン クラスタにプラグインすると、開発モードでは問題なく実行されますが、プロダクション モードでデプロイしようとすると、次のエラーが発生します。
私はspark-2.1を使用しています ここにスニペットがあります
本番モードで conf/appliaction.conf ファイルにスパークマスターを設定するにはどうすればよいですか?