問題タブ [spark-jdbc]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - 列名なしでJDBCに書き込むpysparkの使用方法
私の質問は本当に簡単です。
ハイブ テーブルを SQL Server にエクスポートするために pyspark を使用しています。
SQL Server で列名を行としてエクスポートしたことがわかりました。
列名なしでやりたいだけです。
これらの列をテーブルに入れたくありません...
ここに私のpysparkコード：
列名をスキップするオプションはありますか?
java - postgreテーブルのTEXTデータ型のspark createTableColumnTypes
スパークデータセットではcreateTableColumnTypes、テーブルを作成するときに、デフォルトの代わりに使用するデータベース列のデータ型に使用しています。完璧に機能してVARCHAR(n)いますが、使用している場合はTEXTエラーがスローされます。コードはJavaで書かれています
エラーを以下に示します
スレッド「メイン」org.apache.spark.sql.catalyst.parser.ParseException での例外: DataType テキストはサポートされていません (行 1、位置 29)
dataframe - spark jdbc - ソースへの複数の接続?
データフレームを生成する spark.read JDBC を使用しているときに、そのデータフレームで df.write を 2 回実行すると、誰かが言及しました。**ソースへの 2 つの接続を作成しますか? ** このスパークの内部構造について、さらに洞察を得るために助けが必要です。
dfを返す関数を作成したとしましょう
今、上記の関数から返された df を取得して、2 つの場所に書き込みます。
以下のようにメインでこれを呼び出すと、ソースへの 2 つの接続が本当に作成されますか? もし、そうなら; それを回避し、一度だけ読み取り専用にする方法は何ですか。ここでの load の spark のドキュメントでは、 load() 「データ ソースからデータを読み込み、 a:class として返す」と引用されていますDataFrame。したがって、ここで内部的に何が行われているのかについて、より多くのコンテキストが必要です。