問題タブ [spark-shell]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - Spark on yarn、ピアによる接続リセット
たくさん検索しましたが、すべて無駄でした。これは AWS の 3 ノード EC2 クラスターであり、ディスク容量、リソース、実行中のサービスをチェックしました。すべて問題ないようですが、このエラーが発生します。これを解決するのを手伝ってください。
10.0.1.5 & 10.0.1.6 はデータノードです。namenode から spark-shell を実行しました。
必要に応じて、ここにも投稿できます。
scala - スパークシェルの行とリスト
Spark Row と Scala List の違いは何ですか。どちらもインデックスによってアイテムにアクセスする方法を提供します。どちらをいつ使用するか
Row で確認できる唯一の違いは、いくつかのスキーマがあることです。
ローが登場した理由を理解するのを手伝ってください。
scala - Spark-Shell の実行中にパーティション ログを取得する
EMR クラスターで Spark-Shell を使用してコードを実行しています。サンプルは次のとおりです。
今、私は次のようなコードを持っています
問題は、パーティション ログを取得できないことです。どうすれば同じように分析できますか。
バージョン：