タイム ウィンドウ パージを使用して無限ストリームで重複を除外するにはどうすればよいですか? 私は無限のスペース/ラムを持っていません.2秒後(ローカルクロックで)、発生する可能性のある重複が発生することを知っています。これは、2 秒後に古いデータを破棄 (パージ) できることを意味します。
タイム ウィンドウ パージを使用した無限ストリームでの重複のフィルタリング。
この質問で重複を削除する方法に対する優れた回答を得ました (Till に感謝します): apache flink 0.10 unbounded input dataStream から複合キーの最初の出現を取得するには?
しかし、2秒後(現地時間)に古いデータを破棄するようにflinkに指示する方法がわかりません。
flink 0.10でこれを行うにはどうすればよいですか?
どうもありがとう!!!
重複を削除するがパージしないステートメントは次のとおりです。
input.keyBy(0, 1).flatMap(new DuplicateFilter()).print();
コンパイルできない.timeWindow(Time.minutes(1), Time.seconds(30))
後に追加すると。keyBy(0, 1)