4

kafka プロデューサー プロデューサーのパフォーマンスを測定しています。現在、構成と使用方法が少し異なる2つのクライアントに会いました。

一般:

def buildKafkaConfig(hosts: String, port: Int): Properties = {
  val props = new Properties()    
  props.put("metadata.broker.list", brokers)
  props.put("serializer.class", "kafka.serializer.StringEncoder")
  props.put("producer.type", "async") 
  props.put("request.required.acks", "0")
  props.put("queue.buffering.max.ms", "5000")
  props.put("queue.buffering.max.messages", "2000")
  props.put("batch.num.messages", "300")
  props
}

最初のクライアント:

"org.apache.kafka" % "kafka_2.11" % "0.8.2.2" 

使用法:

val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new Producer[String, String](new ProducerConfig(kafkaConfig))

// ... somewhere in code 
producer.send(new KeyedMessage[String, String]("my-topic", data))

2 番目のクライアント:

"org.apache.kafka" % "kafka-clients" % "0.8.2.2"

使用法:

val kafkaConfig = KafkaUtils.buildKafkaConfig("kafkahost", 9092)
val producer = new KafkaProducer[String, String](kafkaConfig)
// ... somewhere in code 
producer.send(new ProducerRecord[String, String]("my-topic", data))

私の質問は次のとおりです。

  • 2 つのクライアントの違いは何ですか?
  • 大規模なアプリケーションで最適な高負荷の書き込みパフォーマンスを実現するには、どのプロパティを考慮して構成する必要がありますか?
4

1 に答える 1