問題タブ [spark-shell]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

119 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
2 に答える
267 参照

apache-spark - インタラクティブな開発のための SBT コンソールと Spark-Shell の比較

Spark プロジェクトの新しいコードをインタラクティブに開発するために、SBT コンソールと Spark シェルを使用することの間に重要な違いがあるかどうか疑問に思っています (ノートブックは、サーバー ファイアウォールを使用するオプションではありません)。

  • どちらもプロジェクトの依存関係をインポートできますが、私にとっては SBT の方が少し便利です。SBT は自動的にすべての依存関係を build.sbt に取り込み、spark-shell はコマンド ラインで --jar、--packages、および --repositories 引数を使用できます。
  • SBT には、initialCommands起動時に自動的に行を実行する便利な設定があります。これを使用して、SparkContext を初期化します。

他にもありますか？

0 投票する
1 に答える
70 参照

java-native-interface - Mahout 0.13.0 spark-shell の例が「java.library.path に jniViennaCL がありません」で失敗する

Mahout 0.13.0 を spark 1.6.3 で動作させようとしています。

  • すでに Spark 1.6.3 と Hadoop 2.7 が動作しています。

  • ホームページmahout_downloadから最後のビルドをダウンロードします。

  • /opt/mahout で解凍します。

  • Web から spark-shell で例を実行してみてください。

scalaプロンプトで入力してください

実行する：

そして、次のエラーが表示されます：

問題を検索した後、Web に示されているように、ViennaCL ライブラリをインストールします。

また、パスをコピーしてみます：/usr/local/include/

でも何も変わらない…

0 投票する
1 に答える
29 参照

linux - エスケープ文字が原因でファイルが見つからないというエラーが発生しました

LinuxターミナルでJavaコードを使用して以下のspark-shellコマンドを実行しようとしています。

ただし、ファイルが存在する場合でも /tmp/abinash に対して「そのようなファイルまたはディレクトリはありません」というエラーが発生します

これを解決するために非常に多くの方法を試しました。しかし、成功しませんでした。エスケープ文字に問題があると思います。

ここで私が間違っていることを誰かが助けてくれますか。

0 投票する
2 に答える
355 参照

scala - Apache Spark Scala でのデータの解析 org.apache.spark.SparkException: textinputformat.record.delimiter を使用しようとすると、Task not serializable エラーが発生する

入力ファイル：

必要な出力:

ScalaでSparkを手に入れようとしています。この入力ファイルを Spark 2.3.1 および scala 2.11.6 で解析しようとしています。これが私のコードです。

このコードを Intellij から実行すると、以下の出力が得られます。

spark-shell から実行すると、以下のエラーが発生します。

私は何が欠けていますか？


12345678910