問題タブ [apache-kafka-security]

Ambari v2.7.3 および HDP v3.1.0 からすべての Hadoop サービスに対して Kerberos を有効にしました。NIFI を使用して HBase 認証を確認しました。Kafka もテストする必要があります。Kafka コンソールでは、トピックを作成できます。しかし、生産と消費中に以下のようなエラーに直面しています。

以下は、私が試したKafkaプロデューサーコマンドです

これは Stackoverflow に関する私の最初の投稿です。間違ったセクションを選択していないことを願っています。

環境 ：

Kafka HEAP サイズは、次のファイルで構成されます。

次のパラメータを使用:

OSは「CentOS Linux release 7.7.1908」です。

Kafka は"confluent-kafka-2.12-5.3.1-1.noarch"で、次のリポジトリからインストールされます。

数日前に 3 台のマシンの KAFKA クラスターで SSL を有効にしましたが、突然、次のコマンドが機能しなくなりました。

次のエラーが返されます：

「kafka-topics」経由でリクエストしようとすると、サーバーのログに次の行が表示されます。

クラスタに SSL を実装する前に、このコマンドを適切に使用できました。これが私が使用している構成です。「kafka-topics」を除くすべての機能 (コンシューマー、プロデューサーなど) が適切に動作します。

証明書に問題はありません (内部 CA によって署名され、構成で指定されたトラストストアに追加した内部 CA)。OpenSSL はエラーを表示しません:

次のコマンドは、パラメーター「-consumer.config client-ssl.properties」のおかげで、SSL でうまく機能しています。

「client-ssl.properties」の内容は次のとおりです。

現在、「--zookeeper」の使用を余儀なくされていますが、ドキュメントによると、これは非推奨です。

そしてもちろん、それはかなりうまくいっています:

だから、私の質問は: なぜ私は "--bootstrap-server" atm を使用できないのですか? 「zookeeper」が廃止されたため、トピックとその詳細を参照できないことが心配です...

kafka-topics には、kafka-console-consumer と同じオプション、別名「-consumer.config」が必要だと思います...

追加の精度が必要かどうかを尋ねます。

どうもありがとう、私の質問が明確で読みやすいことを願っています。

ブライイン

さまざまなリソースからデータを収集しています。各リソースには、クライアントごとに 1 つの特定のトピックがあります。各ユーザーに対応するトピックへのアクセスのみを許可したいので、すべてのトピックにアクセスすることはできません。私は Kafka 0.10 で作業しており、Kafka ツールを使用しています。解決策はありますか？

Kafka を搭載した kerberized クラスターがあります。クラスター上の Kafka で Confluent Schema Registry を使用したいと考えています。ローカル PC からスキーマ レジストリを起動すると、すべて正常に動作します。しかし、クラスター内のマシンにアップロードしてそこから実行しようとすると、次のようになります。

エラー

クラスター上の別のマシンからも実行しようとしましたが、同じ結果が得られました。

スキーマレジストリ.プロパティ

実行コマンド:

質問: クラスター上のマシンではなく、ローカル PC で機能するのはなぜですか? 何を変更すればよいですか？

PS CMAK yahoo kafka-manager を実行しようとしても同じ結果が得られます (同じ jaas.confing と同じ keytab を使用)