1

Apache Beam を使用して、複数の kafka ストリームとルックアップに参加しようとしています。私はルックアップテーブルを処理するために副入力を使用しており、すべてがダイレクトランナーでうまくいきました。しかし、スパークモードまたはフリンクモードで実行しようとすると、副入力がサポートされていないことがわかりました。これらは Jira バグのリンクです。

http://mail-archives.apache.org/mod_mbox/beam-user/201605.mbox/%3C573EFC2F.6000708@nanthrax.net%3E https://issues.apache.org/jira/browse/FLINK-6131

https://issues.apache.org/jira/browse/BEAM-2112

これに対して副入力または回避策を使用する方法はありますか?

これにステートフル処理を使用できますか? キーごとのウィンドウごとに状態が利用可能であることは知っていますが、別の方法でそれを使用するための微調整はまだありますか?

memcached のようなキャッシング データベースを使用して、すべてのレコードの処理中にデータを取得できますか?

どんな提案でも大歓迎です。

ありがとう、

4

1 に答える 1