問題タブ [kafka-topic]

すべてのログが集中トピックにプッシュされるトピックがありますが、可能であれば、それらのレコードの一部を別のトピックとクラスターにフィルターで除外したいと考えています。

ありがとう

背景: kafka server.properties ファイルでデフォルトのパーティション数 = 1 およびレプリケーション係数 = 3 に設定し、トピックの作成を有効にしました。Kafka クラスターは、認証と承認の両方で実行されています。作成、読み取り、書き込みの許可を 1 人のユーザーのみに与えたトピックがあり、その許可は foo のようなトピック プレフィックスに基づいています。. このユーザーには、foo で始まるトピックを作成および使用する権限があります。ここで、すべての foo を作成したいと思います。デフォルト パーティション = 3 およびレプリケーション ファクター = 6 のトピック (これは、サーバー プロパティのグローバル デフォルトとは異なります。トピックの作成は動的であり、名前は事前にわかりません。

質問: タイプ foo.* のトピックに異なるデフォルト パーティションとレプリケーション ファクターを指定することは可能ですか? そうでない場合、プロデューサーの観点からこれを達成するための最良の方法は何ですか?

私は KafkaAdmin ユーティリティを知っていますが、トピックの作成はプロデューサーで行われ、セキュリティ上の理由から、プロデューサーを実行しているユーザーに ZooKeeper に保存されているメタデータの管理者権限を与えたくありません。

ありがとう！

私は完全にKafka土地にしゃがんでいます コマンドを実行すると

物事が戻るには永遠にかかります。エラーはありませんが、データもありません。
私が欲しいのは、そのトピックの最新の 10 件のメッセージと、 と について読んだことだけpartitionですoffsets。今、私はこの情報を取得するためにどのようにすればよいかわかりませんこのコマンドについて読んだ他の場所

しかし、私は自分の消費者グループを知りません。topic最初のコマンドで言及されている名前とその他のパラメーターを知っているだけなので、この ltd 情報を使用して、特定のパーティションとオフセットのみを検索するか、その他の方法でトピックの最後の 10 個の奇妙なメッセージを取得する方法を教えてください。

ktツールを使ってみた

私はそれらを使用しているので、ブローカーが有効であることを知っています

私が最も親切にしたいこと：

• partition消費者グループなどの追加情報なしで、最も簡単な方法で取得およびオフセットします
• 最後の 10 個を自動的に検索する他のアプローチmessages- そのパーティションとオフセットとフェッチ
• 私が怒るのを防いでくれるGUIベースのツール