問題タブ [spark-jdbc]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
71 問題
0
投票する
0
に答える
253
参照
mysql - JDBC コネクタ (書き込みモード: 無視) を使用した MySQL への Apache Spark 書き込みが期待どおりに実行されない
ID を主キーとしてテーブルを MySQL に保存しています。Spark を使用して Mysql に書き込みたいのですが、(主キーに基づいて) Mysql に既に存在するデータフレームの行を無視し、新しい行セットのみを書き込みます。
以下を使用して、Spark データフレーム (ID 3 と 4 を含む) をこのテーブルに書き込もうとすると、次のようになりますSaveMode.Append。
以下は私が達成した結果です：
しかし、SaveMode.Ignore(ID 4、5、6 で) 使用すると、ID 4 だけが無視されるのではなく、データフレームの書き込み全体が無視されます。
この動作は正常ですか？ID 5 and 6データフレームがで構成されているときに保存したい場合はどうすればよいID 4, 5 and 6ですか? 他に推奨される方法はありますか？