問題タブ [flink-streaming]

ローカルで flink 0.10.1 を使用すると、次のエラーが原因で jobmanager に接続できません:

そして私のpom.xml：

flink 0.9.1 を使用すると問題なく動作します...何が欠けていますか? ありがとうございました！

私は Apache-flink の実装に従いました: quick_start

kmeans フォルダー内に結果ファイルがないため、最後のタスク、つまり「結果の分析」を実行できません。

上記の flink JobManager のスクリーンショットを見ると、KMeans Example の Status が FAILED であることがわかります。また、この失敗したステータスが原因で、kmeans フォルダー内に結果ファイルが存在しない可能性があります。

KMeans の例をクリックすると、次の視覚化が得られます。

</p>

以下は例外のスクリーンショットです。

</p>

私が間違っていることを教えてください。

アイテムの合計と平均を計算したいとしましょう。また、statesまたはwindows(時間) を使用できます。

使用例windows- https://ci.apache.org/projects/flink/flink-docs-release-0.10/apis/streaming_guide.html#example-program

使用例states- https://github.com/dataArtisans/flink-training-exercises/blob/master/src/main/java/com/dataartisans/flinktraining/exercises/datastream_java/ride_speed/RideSpeed.java

決定を下す理由は何ですか？データが非常に不規則に到着する場合 (50% は定義されたウィンドウの長さで到着し、残りの 50% は到着しない)、ウィンドウ アプローチの結果はより偏っていると推測できます (50% のイベントがドロップされるため)。

一方、状態を操作する場合、状態のチェックと更新により多くの時間を費やしますか?

Flink でログ ストリームを処理するカスタム ソースを作成しました。プログラムは正常に動作しており、レコードを処理した後、望ましい結果が得られます。

しかし、Web UI を確認すると、カウントが表示されません。以下はスクリーンショットです: レコード/バイト数

必要なjarがMavenによって取得されたEclipse内からflinkを実行しています。私のマシンには 8 つのコアを備えたプロセッサがあり、ストリーミング アプリケーションはその入力から行を読み取り、いくつかの統計を計算する必要があります。

私のマシンでプログラムを実行したとき、flink が CPU のすべてのコアを適切にスレッド化されたコードとして使用することを期待していました。しかし、コアを見ると、コアが 1 つしか使用されていないことがわかります。私は多くのことを試しましたが、次のコードには最後の試み、つまり環境の並列処理の設定を残しています。ストリーム単体などにも設定してみました。

netcatを使用してプログラムにデータを供給しました：

問題は、プログラムをローカルにスケーリングし、利用可能なすべてのコアを使用する方法です。

私は timeWindow で ContinuousTimeEventTrigger を使用しようとしています:

しかし、次のstackTraceを使用してflinkストリーミングクラスターで実行中にjava.lang.StackOverflowErrorを取得しています:

助けてくれる人はいますか？

要するに、最初からKafka のデータで Flink パイプラインを再実行したいと思います。

フリンク 0.10.2、カフカ 0.8.2。

Kafka には保持期間 2 時間のツイート トピックがあり、Flink には 10 秒ごとに 5 分のスライディング ウィンドウでツイートをカウントするパイプラインがあります。

パイプラインを中断して再実行する場合は、古いツイートを再読み込みして、5 分間分のツイートのカウントを出力するようにします。代わりに新着ツイートからリスタートするようなので、カウントが「常態」になるまで5分かかります。

auto.offset.reset = smallest/earliestと の変更の両方を試しましgroup.idたが、失敗しました。また、ここで説明されているように、Kafka でオフセットを手動で変更しようとしました: https://metabroadcast.com/blog/resetting-kafka-offsets

次に、問題が Flink のチェックポイントに関連している可能性があると仮定しますが、それをリセットする方法についての手がかりがありません/情報が見つかりません。

誰かが動作するコードを共有できますか? ありがとう、E.