0

Spark と Flink のベンチマークを行いたいのですが、この目的のためにいくつかのテストを行っています。ただし、Flink は Kafka では動作しませんが、Spark では完全に動作します。

コードは非常に単純です。

val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment

val properties = new Properties()
properties.setProperty("bootstrap.servers", "localhost:9092")
properties.setProperty("group.id", "myGroup")
println("topic: "+args(0))
val stream = env.addSource(new FlinkKafkaConsumer09[String](args(0), new SimpleStringSchema(), properties))
stream.print

env.execute()

同じトピック (コンシューマー [Flink] とプロデューサー [Kafka コンソール]) で kafka 0.9.0.0 を使用しますが、jar をクラスターに送信しても何も起こりません:

クラスター フリンク

何が起こっているのでしょうか？

4

2 に答える 2

2

stream.print は flink のコンソールに出力されません。flink0.9/logs/recentlog に書き込まれます。それ以外の場合は、出力を確認するために独自のロガーを追加できます。

于 2016-10-01T15:37:06.230 に答える
0

この特定のケース (シンクにチェーンされたソース) では、Web インターフェイスは送受信されたバイト数/レコード数を報告しません。これは近い将来変更されることに注意してください。

job-/taskmanager ログに出力が含まれていないかどうかを確認してください。

于 2016-06-15T19:51:18.457 に答える