kafka プロデューサー プロデューサーのパフォーマンスを測定しています。現在、構成と使用方法が少し異なる2つのクライアントに会いました。
一般:
def buildKafkaConfig(hosts: String, port: Int): Properties = {
val props = new Properties()
props.put("metadata.broker.list", brokers)
props.put("serializer.class", "kafka.serializer.StringEncoder")
props.put("producer.type", "async")
props.put("request.required.acks", "0")
props.put("queue.buffering.max.ms", "5000")
props.put("queue.buffering.max.messages", "2000")
props.put("batch.num.messages", "300")
props
}
最初のクライアント:
"org.apache.kafka" % "kafka_2.11" % "0.8.2.2"
使用法:
val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new Producer[String, String](new ProducerConfig(kafkaConfig))
// ... somewhere in code
producer.send(new KeyedMessage[String, String]("my-topic", data))
2 番目のクライアント:
"org.apache.kafka" % "kafka-clients" % "0.8.2.2"
使用法:
val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new KafkaProducer[String, String](kafkaConfig)
// ... somewhere in code
producer.send(new ProducerRecord[String, String]("my-topic", data))
私の質問は次のとおりです。
- 2 つのクライアントの違いは何ですか?
- 大規模なアプリケーションで最適な高負荷の書き込みパフォーマンスを実現するには、どのプロパティを考慮して構成する必要がありますか?