問題タブ [kafka-rest]

私はカフカから始めています。

メッセージを生成するときにヘッダーを渡すことができることがわかりました。

伝統的に、ユーザーが何らかのリモート oidc idp を介してログインし、トークンを受け取る Web クライアント (単一ページ アプリ) があります。次に、そのトークンはヘッダーを介しAuthentication: Bearer token-hereて RESTful バックエンドに送信され、そこでトークンの有効性がチェックされ、ペイロードが処理されてデータベースなどに保存され、何かが返されるかどうかが判定されます。

今、Apache Kafka があります。REST プロキシがあります。ヘッダーを REST プロキシに渡してメッセージを生成したり、消費したりできますが、「RESTful JSON API を保護する」部分に関心があります。

現在、Kafka を使用していない場合、どのリクエストがバックエンドに送信されるかをフィルタリングする oidc プロキシ (keycloak を使用、つまり keycloak-gatekeeper) を使用するか、バックエンド内のミドルウェア機能としてトークンの検証を行う oidc クライアントを使用しています。 . いずれにせよ、無効なリクエストは Kafka のように「ログに記録」されないと思います。

oidc トークンの検証とリクエストのフィルタリングは、Kafka/Confluent エコシステムのどこに適合しますか?

Confluent REST Proxy と通信する SPA があるとします。ログインしているユーザーの中にはメッセージを投稿したい人もいれば、ログインしていないユーザーは投稿できないはずです。

Kafka および/またはそのツールは、そのシナリオにどのように対処しますか?

私は Kafka レスト プロキシを使用していますが、Confluent Platform 全体ではなく、Kafka ブローカーと一緒に Kafka レストを使用しています。しかし、次のコマンドでコマンドラインからトピックを作成できません。

他に抜け道がないか知りたいです。

Confluent Kafka REST Proxy を使用して、メッセージを Apache Kafka に送信します。REST プロキシで基本認証をセットアップし、HTTP 要求をプロキシに送信するたびに、403 HTTP エラー !role を受け取ります。

プロキシを使用するには、Zookeeper、Kafka、およびスキーマ レジストリが実行されている必要があります。これらのサービスにはセキュリティを構成しませんでした。

認証がなければ、プロキシは機能し、メッセージを Kafka に正常に配信します。この問題のトラブルシューティング方法を教えてください。その問題に何時間も費やしましたが、まだ修正できません。

私がやろうとしているのは、Kafka REST プロキシを使用して手動でコミットすることです。私はこのコードを使用しようとしています:

{"error_code":40403,"message":"Consumer instance not found."} を返します。

私は何を間違っていますか？