問題タブ [flink-streaming]

過去 1 時間のイベントのバッファを動的に保持したいと考えています。そのバッファーは、過去 1 時間のデータに対してクエリを実行できるように、再生機能を提供する必要があります。Flink 内に既に実装されているものはありますか? それとも、自分で構築する必要がありますか?

Window API を使用しようとしましたが、Flink は順方向にシフトする固定幅の時間ウィンドウを提供しないようです。

この Flink CEP の例を理解しようとしています

https://github.com/tillrohrmann/cep-monitoring ..分散モード (1 マスター & 3 コア) で Flink CEP のこの例を実行しました。 3つのコアがあるため、3つのファイル..ファイルの1つに、次のようなレコードが表示されます。

行番号 5 から調べ始めると、行番号 5 から出力されたすべての温度アラート (つまり、温度: 113.65291115679136) を確認でき、TemperatureWarning で (温度: 113.65291115679136 が行 15 に存在する) 以下の温度を識別できます。つまり、どの温度に対してどれを特定できるか、アラートが出力されていることを意味します....しかし、行番号1から4で生成されたアラートはどうですか?? 行番号のレコードでも同じことがわかります。11..アラートが生成された温度警告を特定する方法を教えてください。バッチモード、連続モード、またはマイクロバッチモードでストリーミングを実行していますか??

この例のFlink CEPを使用しています。ここでは、アプリケーションを Kafka に送信するアプリケーションと、Ka​​fka から読み取る別のアプリケーションを作成したため、データを分離しています...クラスTemperatureWarningのプロデューサーを生成しました。つまり、Kafka でデータを送信していました。以下は、Kafka からデータを消費している私のコードです...

しかし、このアプリケーションを実行すると、次の例外がスローされます。

以下は私のクラスTemperatureWarningです：

}

以下は私のクラスMonitoringEventSchemaです：

{

}

パーティションへのストリームに必要なキーについて述べたように、keyBy操作を行うには何が必要ですか?? このエラーを解決するには、ここで何をする必要がありますか??

Flink と Spark Streaming、Flink と Storm、Storm と Heron を比較する多くの質問があります。

この質問の起源は、Apache Flink と Twitter Heron の両方が真のストリーム処理フレームワーク (Spark Streaming のようなマイクロバッチではない) であるという事実から来ています。Twitter は昨年 Storm を廃止し、代わりに Heron を使用しています (これは基本的に Storm を作り直したものです)。

Flink および Flink vs Spark に関する Slim Baltagi による素晴らしいプレゼンテーションがあります: https://www.youtube.com/watch?v=G77m6Ou_kFA

さまざまなストリーミング フレームワークに関する Ilya Ganelin による優れた調査: https://www.youtube.com/watch?v=KkjhyBLupvs

Flink と Storm に関する非常に興味深い考え: Flink と Storm の主な違いは何ですか?

しかし、新しい Storm/Heron と Apache Flink の比較は見たことがありません。

両方のプロジェクトはかなり若く、以前に作成された Storm アプリケーションの使用やその他多くの機能をサポートしています。Flink は Hadoop エコシステムにより適合し、Heron は Twitter ベースのエコシステム スタックにより適合します。

何かご意見は？

Java アプリケーションによってリアルタイムでフィードが提供されるダッシュボードの構築に取り組んでいます。Elasticsearch と Kibana を利用して、これらのフィードを分析したいと考えています。しかし、Logstash または Apache Flink を使用してデータをログに記録する必要があるのか​​、データを Elasticsearch に直接ログ記録する必要があるのか​​、私は混乱しています。

私は完全に絶望的です！

私は Java で apache flink を使用していますが、正確な名前ではなく類似性によってキーを設定するために、keyby メソッドを変更できるかどうかを知りたいですか?

2 つの異なる DataStreams があり、ユニオンを実行しています。最初のストリームでは、KeyBy にしたいフィールドの名前は「John Locke」ですが、2 番目のデータストリームではフィールド値は「John L」です。

いくつかの異なる文字列間のスコアを与えるアルゴリズムがあります。私の考えは、たとえば、両方の文字列間のスコアが 0'80 よりも高い場合、これらの 2 つの文字列は同じと見なされ、keyby("name") を適用すると、それらの類似の文字列は正確な同じ名前。

視覚的な例:

datastream1----- ジョン・ロック、ミッキー・ミッキー、ウィル・ウィリアムズ

satastream2----- ミッキー M.、ジョン L.、アンソニー ブラウン

データストリーム d3= datastream1.union(datastream2)

d3.keyは正確な名前ではなく、スコア/類似性によるものです。

ご理解いただければ幸いです。ありがとうございます。

私は Flink ストリーミング API を初めて使用し、次の単純な (IMO) タスクを完了したいと考えています。2 つのストリームがあり、カウントベースのウィンドウを使用してそれらを結合したいと考えています。私がこれまでに持っているコードは次のとおりです。

私のコードはエラーなしで動作しますが、結果が得られません。実際、applyメソッドへの呼び出しは呼び出されません (デバッグ モードでブレークポイントを追加することで確認されます)。前の主な理由は、私のデータに時間属性がないことだと思います。したがって、ウィンドウ処理 ( を介して実体化window) は適切に行われません。したがって、私の質問は、カウント ウィンドウに基づいて参加を行うことをどのように示すことができるかということです。たとえば、各ストリームから 100 タプルごとに結合を実現したいと考えています。以前は Flink で実行可能ですか? はいの場合、それを達成するためにコードで何を変更する必要がありますか。

この時点で、メソッドを呼び出そうとしたことをお知らせしなければなりcountWindow()ませんが、何らかの理由で Flink によって提供されていませんJoinedStreams。

ありがとうございました