1

私はドキュメント ( http://snappydatainc.github.io/snappydata/streamingWithSQL/ ) を読んでいて、kafka で作業するときにトピック名の後にあるパラメーター ":01" が何を意味するのか知りたいと思っていました。これはパーティション番号ですか、それともサーバーが使用しているスレッドの数ですか?

例: 「トピック 'streamTopic: 01 '

val sc = new SparkContext(new SparkConf().setAppName("example").setMaster("local[*]"))
val snc = SnappyContext.getOrCreate(sc)
var snsc = SnappyStreamingContext(snc, Seconds(1))

snsc.sql("create stream table streamTable (userId string, clickStreamLog string) " +
    "using kafka_stream options (" +
    "storagelevel 'MEMORY_AND_DISK_SER_2', " +
    "rowConverter 'io.snappydata.app.streaming.KafkaStreamToRowsConverter', " +
    "zkQuorum 'localhost:2181', " +
    "groupId 'streamConsumer', " +
    "topics 'streamTopic:01')")

これがどこかに言及されていたら申し訳ありませんが、私はそれを見つけることができませんでした.

4

1 に答える 1

1

これはトピック名のみである必要があります。Spark ストリーミングは、kafka パーティションの数を把握し、取り込みに十分な並列タスクを開始します。

ここで別の例を参照してください。

于 2016-08-19T21:04:47.447 に答える