問題タブ [flink-streaming]

Flink を使用して常に Kafka トピックの最初からコンシュームするようにするにはどうすればよいですか?

Flink 1.0.2 の一部であるKafka 0.9.x コンシューマでは、オフセットを制御するのはもはや Kafka ではなく Flink のようです。

Flink は、分散チェックポイントの一部としてオフセットを内部的にスナップショットします。Kafka / ZooKeeper にコミットされたオフセットは、外部ビューの進行状況を Flink の進行状況ビューと同期させるためだけのものです。そうすれば、監視やその他のジョブは、Flink Kafka コンシューマーがトピックをどれだけ消費したかを把握できます。

これは私がどこまで到達したかですが、私の Flink プログラムは常に中断したところから開始し、構成が指示するように最初に戻ることはありません:

DataSet を DataStream に変換したい Java を使用して Flink Table API を使用しています .... 以下は私のコードです:

しかし、このプログラムを実行しようとすると、次の例外がスローされます。

org.apache.flink.api.table.ExpressionException: JavaStreamingTranslator のルートが無効です: Root(ArraySeq((related_value,Double), (ref_id,String)))。DataSet に基づくテーブルを DataStream に、またはその逆に変換しようとしましたか? Flink Table API を使用して DataSet を DataStream に変換する方法を知りたいですか??

私が知りたいもう 1 つのことは、パターン マッチングのために、Flink CEP ライブラリが利用可能であることです。しかし、パターン マッチングに Flink テーブル API を使用することは可能ですか??

サンプル プロジェクトをセットアップしてビルドしました。期待どおりに WordCount プログラムを実行できます。しかし、SocketTextWordCount を実行すると、結果が出力されません。

• nc 経由でデータを送信します (両側で localhost:9999 )
• 実行中のジョブの Web コンソールで、メッセージが送受信されていることがわかります

しかし、nc セッションを強制終了した後でも、counts.print() の出力がどこにも表示されません。

編集-結果をテキストファイルに出力するように変更しても問題ありません。そのため、サンプルを実行しているコンソールの stdout に counts.print() が正しく書き込まれていないことが問題のようです。

Apache Flink (Scala API) を使い始めたばかりです。問題は次のとおりです。Flink サイトの例に基づいて、Kafka から Apache Flink にデータをストリーミングしようとしています。

すべてが正常に機能し、stream.print() ステートメントによって画面に次のように表示されます。

2018-05-16 10:22:44 午前|1|11|-71.16|40.27

データをロードするためにケースクラスを使用したいのですが、使用してみました

ただし、一度に 1 文字ずつデータを分割するだけです。

基本的に期待される結果は、次のようにケース クラスの 5 つのフィールドにデータを入力できることです。

しかし、それは今やっています：

等...

アドバイスをいただければ幸いです。

前もって感謝します

フランク

次のコードを実行しようとしました。

しかし、次のエラーが発生しました

いろいろ試してみたところ、コンストラクター FlinkKafkaConsumer08 を呼び出せないことがわかりました。Kafka 0.8.2、Java 7、および Scala 2.10 を使用しました。ここで何が問題なのですか？

私はフリンクアプリケーションを持っています。map 関数内でオブジェクトを使用します。このような：

streamProcessor はオブジェクトです。このオブジェクト内には、データベースの別のサービス オブジェクトがあります。Flink は、イベントがアプリケーションに来るたびにこの map 関数を実行します。私が知りたいこと: オブジェクトは毎回同一のシングルトン オブジェクトですか?

例：

-> アプリケーションにイベントが来る -> map 関数が実行され、シングルトン オブジェクトが作成される

-> 次のイベントがアプリケーションに来る -> map 関数が再度実行される -> オブジェクトが再度呼び出される

2 番目のオブジェクトは同一のインスタンスですか?

いくつかの DataStreams がマージされているこの 例を実行しようとしています。これには Eclipse を使用しており、ここで指定されているように Maven の依存関係を追加しました。ここに私の依存関係があります:

ただし、一部のクラスは認識されていません (図を参照)。