問題タブ [flink-sql]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-flink - flink ソース コードに flink-streaming-java および flink-streaming-scala モジュールがあるのはなぜですか
Fink ソースにはflink-stream-javaとflink-stream-scalaモジュールがあります。flink ストリーミングに 2 つのモジュールが必要なのはなぜですか?
https://github.com/apache/flink/tree/master/flink-streaming-java
https://github.com/apache/flink/tree/master/flink-streaming-scala
apache-flink - Flink SQL クエリのチェックポイント サイズが大きく異なるのはなぜですか?
プロジェクトで Flink Table SQL を使用しているときGROUP BYに、SQL に句があると、チェックポイントのサイズが大幅に増加することがわかりました。
例えば、
チェックポイントのサイズは 500KB 未満になります。
でも、こうやって使うと、
メッセージが処理されていない場合でも、チェックポイントのサイズは 70MB を超えます。このような、
keyByただし、Table SQLの代わりに DataStream API と を使用するとGROUP BY、チェックポイントのサイズは通常の 1MB 未満になります。
なんで？
-------2019-03-25 更新--------
いくつかのテストを行ってソース コードを読んだ後、その理由は RocksDB にあることがわかりました。
状態バックエンドとして RockDB を使用する場合、チェックポイントのサイズはキーごとに約 5MB を超え、ファイルシステムを状態バックエンドとして使用する場合、チェックポイントのサイズはキーごとに 100KB 未満に減少します。
状態を保持するために RocksDB が大量のスペースを必要とするのはなぜですか? いつ RocksDB を選択する必要がありますか?
scala - Java/Scala プログラムで DataStream から SQL テーブルを作成し、SQL クライアント CLI からクエリを実行する - Apache Flink
クラスターで実行されている Scala/Java プログラム内で作成されたテーブルで、Flink SQL クライアント CLI を使用してテーブルと対話することは可能ですか?