問題タブ [spark-shell]

私はspark-shellを使用してspark-scalaジョブを実行していますが、直面している問題は、ステージ5のように最終ステージと最終マッパーの終わりに50を割り当てて49を非常に迅速に完了し、50番目に5分かかることですと言って、メモリ不足で失敗します。私は使っているSPARK_MAJOR_VERSION=2

以下のコマンドを使用しています spark-shell --master yarn --conf spark.driver.memory=30G --conf spark.executor.memory=40G --conf spark.shuffle.service.enabled=true --conf spark.dynamicAllocation.enabled=false --conf spark.sql.broadcastTimeout=36000 --conf spark.shuffle.compress=true --conf spark.executor.heartbeatInterval=3600s --conf spark.executor.instance=160

上記の構成では、動的割り当てを true にして、ドライバーとエグゼキューターのメモリを 1GB から開始しました。私は全体で 6.78TB の RAM と 1300 VCores を持っています (これは私の Hadoop ハードウェア全体です)。

私が読んでいる40GBテーブルは 6 つのテーブルをその 40GB のテーブルに結合しているので、全体で 60GB になる可能性があります。そのため、spark はこのために 4 つのステージを初期化しており、最後の最終ステージでは失敗しています。Spark sql を使用して SQL を実行しています。

エラーは次のとおりです。

メモリの割り当てなど、ここで何か間違ったことをしている場合は誰か教えてもらえますか?メモリ例外やワーカー ノードの失われたエラーを取得せずにこのジョブを完了するための代替案を提案してください。どんな助けや情報も大歓迎です。

ありがとう！

Spark Shell を取得するデフォルトの方法は、Web サイトからディストリビューションをダウンロードすることのようです。それでも、 このスパークの問題は、経由でインストールできると述べていますsbt。これに関するドキュメントは見つかりませんでした。spark-sqlとを使用する sbt プロジェクトで、バイナリが見つかりspark-coreませんでした。spark-shell

spark-shellsbt からどのように実行しますか?

ignite を cassandra と統合しようとしています。構成をセットアップし、ignite ノードを開始しました。しかし、Ignite キャッシュ/cassandra db からデータを挿入/読み取ることができません。カサンドラにキースペースとテーブルを作成しました。そして、いくつかの値を挿入しました。しかし、値を読み取ろうとすると、例外が発生します。いくつかの値を挿入しようとしたときに同じことが起こりました。

私の Ignite バージョンは 2.6 で、cqlsh は 5.0.1 | カサンドラ 3.11.4 | CQL 仕様 3.4.4 | スパークのバージョンは 2.3.0 | scala のバージョンは 2.11.8 | カサンドラ ドライバー コア 3.0.0 | グアバ 19.0 |

これが点火設定です。

config3.xml

接続設定3.xml

persistence-settings-3.xml

私が得たエラーメッセージは、

次のコマンドを使用して spark-shell Am を起動するには