データ損失が許容されるユース ケースがあります (30 ～ 50% の損失が許容されると考えてください)。コストを削減するために、Kafka のレプリケーション ファクターを 1 に設定して、コンシューマーとプロデューサーが単に使用可能なパーティションを消費および生成するだけでブローカーの障害から回復できるかどうかを知りたいと考えています。
これが可能である場合、どのような構成を設定する必要がありますか?
本質的にこのように動作するブローカー テクノロジは他にもありますが、カフカは既にエコシステムの一部であるため、別のテクノロジの導入は避けたいと考えています。
新しいトピックを作成する場合は、bin/kafka-topics.shパラメーターを指定する必要があります--replication-factor。1レプリケーションを無効にするには、 に設定するだけです。
bin/kafka/topics.sh既存のトピックについては、パラメータを使用してレプリケーション係数を変更できます--alter。
プロデューサーとコンシューマーについては、追加の例外処理が必要になる場合があります。たとえば、レコードを書き込むときに専用パーティションを指定し、ブローカーに到達できない場合は、これを受け入れる必要がある場合があります (おそらく、この書き込みをスキップするか、適切なものは何でも)。ただし、クライアントに設定する必要がある特定の構成はありません。