問題タブ [flink-streaming]

自家製のストリーミング サーバーから Apache Flink への移行を検討しています。私たちが持っているものの 1 つは、処理トポロジで保持されている状態に対してクエリを実行する DRPC インターフェイスのような Apache Storm です。

たとえば、移動平均を実行しているセンサーがたくさんあります。トポロジに対してクエリを実行し、その平均が固定値を超えているすべてのセンサーを返したいと考えています。

Flink に同等のものはありますか、そうでない場合、同等の機能を実現する最善の方法は何ですか?

java.lang.NoSuchMethodError:

org.apache.flink.api.common.ExecutionConfig.setRestartStrategy(Lorg/apache/flink/api/common/restartstrategy/RestartStrategies$RestartStrategyConfiguration;)
com.WriteIntoKafka.main(WriteIntoKafka.java:53) で sun.reflect.NativeMethodAccessorImpl.invoke0
(ネイティブ メソッド )
で.invoke(Method.java:606) at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.java:497)



org.apache.flink.client.program.PackagedProgram.invokeInteractiveModeForExecution(PackagedProgram.java:395)
で org.apache.flink.client.program.Client.runBlocking(Client.java:252)
で org.apache.flink.client .CliFrontend.executeProgramBlocking(CliFrontend.java:676)
で org.apache.flink.client.CliFrontend.run(CliFrontend.java:326)
で org.apache.flink.client.CliFrontend.parseParameters(CliFrontend.java:978)
でorg.apache.flink.client.CliFrontend.main(CliFrontend.java:1028)

Flink で RollingSink を使用して、AVRO にシリアル化されたケース クラスを HDFS に書き込もうとしています。HDFS で avro ファイルをデシリアライズ可能にするために、FSDataOutputStream をラップする DataFileWriter を使用します。HDFS のデータ ファイルを閉じるために DataFileWriter と FSDataOutputStream を同期しようとすると、例外がスローされ、実際には他のすべてのファイルでデータが取得されます。Flink Writer 実装で fs ストリームを Avro ライターと同期する方法はありますか?

DataFileWriter close() flush() sync() fsync() を使用しようとしましたが、すべて失敗しました。同期方法が最適に機能するようです。また、動作しているように見える書き込み方法で同期を試みましたが、それでもエラーが発生し、すべてのデータがファイルに保存されているかどうかを確認できませんでした。

上記のコードで RollingSink を実行しようとすると、次の例外が発生します。

DataStream フローの計算結果を HTTP プロトコルで他のサービスに送信したい。それを実装する方法として、次の 2 つの方法が考えられます。

1. シンクで同期 Apache HttpClient クライアントを使用する

1. シンクで非同期 Apache HttpAsyncClient クライアントを使用する

質問:

1. シンクで同期または非同期の HTTP クライアントを使用する必要がありますか?

2. 同期クライアントを使用する場合、それはシンクをブロックし、バック プレッシャーによって Flink はソースをブロックします。右？

3. 非同期クライアントを使用する場合、シンクはブロックされません。右？

4. アキュムレータはスレッドセーフではありませんか? つまり、非同期コールバックで使用できますか?

5. RuntimeContext はスレッドセーフではありませんか? つまり、非同期コールバックで使用できますか?

この例を見てください：

GlobalWindowこの例で(内で作成された)の 1 つのインスタンスを使用している理由を誰か説明してもらえますGlobalWindows#assignWindowsか?

着信イベントIDは独自のウィンドウ、つまりイベント、イベントなどWindow(a)を作成する必要があるようです。私が理解しているように、Flinkは対応するイベントを関連付けるためにWindowのインスタンスを使用しているためです。たとえば、すべてのイベントを関連付ける必要があります。この場合、に関連付けられたすべてのイベントのみがウィンドウ関数に渡され、まとめて処理されます (この例では、、 などによってグループ化されたイベントのカウントが計算されます) 。aWindow(b)baWindow(a)aWindow(a)abGlobalWindow

Flink Streaming でストリーム内の一意の単語の数をカウントする方法はありますか? 結果は、増加し続ける数の流れになります。