問題タブ [spark-jdbc]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

71 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
0 に答える
28 参照

apache-spark - なぜsparkはbatchSize 1のDBにデータを挿入することしかできないのですか?

私はローカルモードでスパークを使用しています.148,000行程度のそれほど大きくないデータフレームがあります。このデータフレームを DB に挿入しようとするたびに、batchSize オプションを 1 に指定するまで挿入できません。なぜこれが起こっているのかわかりません。

0 投票する
1 に答える
473 参照

apache-spark - Spark SQL テーブル読み取りエラー '原因: org.apache.spark.sql.AnalysisException: 式 'unresolvedextractvalue' での '*' の無効な使用

以下のように、リモートのdatabricksデータベーステーブルからデータを読み取るために、Eclipseのローカルにサンプルのjava spark sqlコードを作成しました。hadoop_home を設定し、spark jdbc ドライバーも含めましたが、実行するたびにエラーが発生します。

上記のコードを実行すると、以下のエラーが発生します

誰かがこの問題を解決する方法を教えてもらえますか?

0 投票する
0 に答える
27 参照

apache-spark - Apache Spark 経由で Teradata テーブルを読み取る際の問題

Spark を使用して Teradata テーブルを読み込んでいます。これが私のコードです：

そして、私はこのエラーを受け取ります:

ただし、Teradata テーブルからわかることは、必要なすべての列があることです。

出力：

Spark がテーブルを読み取れない理由と列を取得できない理由はありますか?

0 投票する
1 に答える
74 参照

apache-spark - 挿入時のSpark JDBC「バッチサイズ」効果

batchsizeこのオプションが、spark jdbc を使用した挿入操作にどのような影響を与えるかを知りたかったのです。これは、一括挿入に似た 1 つの挿入コマンドを使用する一括挿入または最後にコミットされる挿入コマンドのバッチを意味しますか?

これはドキュメントに明確に記載されていないため、誰かが明確にすることができますか?

0 投票する
1 に答える
45 参照

mysql - スキーマが指定されている場合でもSpark JDBCがテーブルスキーマを推測するのはなぜですか?

spark.read.format("jdbc").option("query", tmpSql)Mysql からテーブルをロードするために使用していますselect * from (xxx) where 1=0。データベース モニターからクエリを確認できます。後で、このクエリが Spark でテーブル スキーマを推測するために使用されることがわかります。ただし、を使用するspark.read.format("jdbc").option("query", tmpSql).schema(xxx)と、クエリを推測するテーブル スキーマがまだ存在します。customSchema が既に指定されているのに、Spark がまだテーブル スキーマを推測する必要があるのはなぜですか?


12345678910