3

タイム ウィンドウ パージを使用して無限ストリームで重複を除外するにはどうすればよいですか? 私は無限のスペース/ラムを持っていません.2秒後(ローカルクロックで)、発生する可能性のある重複が発生することを知っています。これは、2 秒後に古いデータを破棄 (パージ) できることを意味します。

タイム ウィンドウ パージを使用した無限ストリームでの重複のフィルタリング。

この質問で重複を削除する方法に対する優れた回答を得ました (Till に感謝します): apache flink 0.10 unbounded input dataStream から複合キーの最初の出現を取得するには?

しかし、2秒後(現地時間)に古いデータを破棄するようにflinkに指示する方法がわかりません。

flink 0.10でこれを行うにはどうすればよいですか?

どうもありがとう!!!

重複を削除するがパージしないステートメントは次のとおりです。

input.keyBy(0, 1).flatMap(new DuplicateFilter()).print();

コンパイルできない.timeWindow(Time.minutes(1), Time.seconds(30))後に追加すると。keyBy(0, 1)

4

1 に答える 1

4

Till に感謝 - 次のリンクの更新で答えが得られます: apache flink 0.10 unbounded input dataStream から複合キーの最初の出現を取得する方法

更新を参照してください。

于 2016-02-24T21:12:13.367 に答える