問題タブ [spark-shell]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

119 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
1 に答える
2287 参照

apache-spark - spark-shell spark.sql(""" query """) の入力を避ける

私はspark-shellをよく使用しますが、データベースでSQLクエリを実行することがよくあります。また、SQL クエリを実行する唯一の方法は、それらを spark.sql(""" query """) でラップすることです。

spark-sql に直接切り替えて、ラッパー コードを回避する方法はありますか? たとえば、beeline を使用すると、直接の SQL インターフェイスが得られます。

0 投票する
1 に答える
659 参照

apache-spark - spark-shell で createDataFrame と createDF を使用する方法

hereのように、それを使用する良い例がありますが、spark-shellでは " ... createDF is not a member of org.apache.spark.sql.SparkSession" .

PS: Spark v2.2 を使用しています。

編集:申し訳ありませんが、これは外部ライブラリです。質問のほとんどの変更: Spark-shell セッションで Github lib をインポートする方法は?

0 投票する
2 に答える
248 参照

dataframe - Spark-shell の toDF、Vector、Seq などでの使用方法は?

私はいくつかの基本的なデータ型を試して、

toDF()しかし、その後も誰も申し出ませんimport spark.implicits._。

私の目的は、sometingを次のように使用することですx.toDF("name","age","city").show

最後の例ではtoDFが存在しますが、エラー"java.lang.ClassNotFoundException" .

ノート：

  • Spark v2.2 で Spark-shell を使用しています。

  • create Vector のような複雑なソリューションではなくtoDF(names)、 でパラメータ化された列名に基づく一般的な変換が必要です。case class Person(name: String, age: Long, city: String)

toDF後のショーの期待される結果は


12345678910