問題タブ [confluent-platform]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - Kafka ベースの Confluent Platform は無料ですか? オープンソース？
Kafka 自体は完全に無料でオープン ソースです。
Confluent は、Kafka の作成者による営利企業です。Confluent Platform は、Kafka に加えて、スキーマ レジストリやデータベース コネクタなどのさまざまなエクストラです。Confluent は、サポート契約とサービスを販売することで利益を上げていると思います。
Confluent Platform は無料またはオープンソースですか? ライセンスまたは有料サポートを購入する義務はありますか?
python - Kafka 用の Confluent Python API
公式の Confluent Kafka Python API の基本的な使用法でエラーが発生します。
私は購読します：
コールバックの使用:
これにより、コンソール出力が生成されます。
誰かがこれを説明できますか？不明なパーティションでコールバック通知を受け取るのはなぜですか? 同様のコードは、Java API を使用して完全に機能します。
apache-kafka - Can I install Confluent on HDP 2.4 platform
I'm trying to install Confluent over HDP for Kafka Streams which think may not be possible could you people suggest me what to do
apache-kafka - Kafka でのイベント ソーシング スキーマの適用
明確にするために言うと、イベント ソーシングのデータ ストアとして Kafka を使用しようとしているのではなく、単にイベントをレプリケートするためです。
KafkaのConfluent Schema Registryは、プロデューサーからトピックに送信されたメッセージのスキーマを検証できるという点で非常に興味深いようです。ただし、私が理解していることから、各トピックをコンテナー ファイルのように扱います (トピックごとに 1 つのスキーマ)。
この制限は、File複数のメッセージ スキーマを持つイベントソース ストリームでは機能しません。これらを個別のトピックに入れると、複雑になり、エラーが発生しやすくなります。FileCreatedFileMovedFileCopiedFileDeleted
同じトピックに対して複数のスキーマをサポートする Schema Registry のようなツールはありますか?
アップデート
明確にするために、上記の各メッセージには異なるスキーマがあります。例えば：
FileCreated:
FileMoved:
FileDeleted:
apache-kafka - kafka-connect-jdbc 日時
kafka-connect-jdbc を使用して、(mysql 上の) レガシー データベースから kafka にデータをインポートしようとしています。基本的な例をセットアップして動作させることができました。
問題の 1 つは、タイムスタンプであるはずの列の 1 つに、例外が発生するすべての行に対して無効な値があることです。
java.sql.SQLException: 値 '0000-00-00' は java.sql.Timestamp として表すことができません
その列を簡単に除外し、その列を除外する選択クエリを作成することで、kafka-connect-jdbc のカスタム クエリ オプションを使用してデータをインポートできます。オフセット管理などの観点から、その意味を理解したかっただけです。ドキュメントによると、問題の1つは、これにより、コネクタごとに1つのトピックに制限されることです。他に留意すべきことはありますか？
hadoop - AccessControlException user=root,access=WRITE... Kafka Connect HDFS を使用している場合
Confluent の Hadoop ディストリビューションを使用して、(別のマシン上の) Kafka から HDFS にメッセージを送信しようとしています。HDFS 側の「所有者」は「hadoop」です。
このエラーはよくあることで、HADOOP_USER_NAME=hadoop を設定しようとしましたが、ユーザーとして「root」を参照する同じエラーが引き続き発生します。kafka-connect-hdfs には追加の認証パラメーターがありますが、それらはすべて Kerberos 用であるように見えますが、ここでは関与していません。
原因: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): 許可が拒否されました: user=root, access=WRITE, inode="/topics":hadoop:supergroup:drwxr-xr-バツ
apache-kafka - schema-registry 2.0.1 へのアップグレードに関する問題
現在、スキーマ レジストリ 1.0.1 から 2.0.1 へのアップグレードを試みています。これは、次のバージョンでアップグレードする前に機能していることがわかります: kafka_2.10 バージョン 0.9.0.2.4.0.0、kafka-avro-serializer バージョン 2.0.1、avro バージョン 1.7.7
アップグレード後、以前に成功した同じリクエストが HTTP 404 エラーで失敗するようになりました。
CURL で確認したところ、例を使用してスキーマを投稿できました。
次に、Avro schema: "string" が問題である可能性があると考えたため、ThingKey スキーマを作成しましたが、同様のエラーが引き続き発生します。
次のコードを使用してメッセージを公開しています。
アイデアや提案は大歓迎です。
ありがとう、ロス
更新: 修正済み - この問題は、バージョン 2.0.1 でのより厳密な検証のために失敗を引き起こしているリクエスト パスの追加のスラッシュが原因でした。完全な詳細: https://github.com/confluentinc/schema-registry/issues/388