問題タブ [spark-shell]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scala - spark-shell 既存のハイブテーブルをパーティションごとにロードしますか?
で、既存の Hive テーブルをロードする方法を教えてください。ただしspark-shell、そのパーティションは 1 つだけです。
このテーブルの特定のパーティションのみをロードする方法を探していました。
ありがとう！
scala - spark-shell - 省略されたスタック トレース (例外) の抑制を回避する方法
spark-shell から自分の scala ファイルを実行しようとしています。このファイルは、既に spark-context にロードされている他のいくつかの jar ファイルを呼び出します
問題は、何かが失敗した場合、スタックトレースの一部のみを出力することです。スタックトレース全体を有効にする方法はありますか?
scala - Livy Spark インタラクティブ セッション
livy を使用して Spark インタラクティブ セッションを作成しようとしています。また、hdfs で mi した jar のようなライブラリを追加する必要があります (私のコードを参照してください)。しかし、セッションは停止しており、ログは以下のとおりです。
コード:
ログ: