問題タブ [apache-kafka]

http://search.maven.org/#artifactdetails%7Corg.apache.kafka%7Ckafka_2.9.2%7C0.8.0-beta1%7CN%2FAから apache-kafka を含めようとしています

しかし、それを pom.xml に含めて「mvn package」を実行すると、次のエラーが発生します。

ここで何か間違ったことをしていますか？Maven は、「依存関係」が 2 回使用されていることに満足していないようです。どんな助けでも大歓迎です。

TESTPROD.java をコンパイルしたい場合、kafka の scala ファイルに大きく依存しているため、どうすればよいですか?

以前にKafkaに出くわしたことはありますが、最近、Kafka がおそらくCQRS、eventstoreとして (の基礎として) 使用される可能性があることに気付きました。

Kafka がサポートする主なポイントの 1 つ:

• イベントのキャプチャ/保存、もちろんすべて HA。
• Pub/Sub アーキテクチャ
• 新しいサブスクライバーが事後にシステムに登録できるようにするイベントログを再生する機能。

確かに、私は CQRS/イベント ソーシングに 100% 精通しているわけではありませんが、これはイベントストアのあるべき姿にかなり近いようです。面白いのは、Kafka がイベントストアとして使用されていることについてあまり見つけられないので、おそらく何かが足りないということです。

では、優れたイベントストアであるために Kafka に欠けているものはありますか? それはうまくいくでしょうか？それを使用して生産？洞察、リンクなどに興味があります。

基本的に、システムの状態は、通常行われているシステムの現在の状態/スナップショットを保存するだけでなく、システムがこれまでに受信したトランザクション/イベントに基づいて保存されます。(会計における総勘定元帳と考えてください。すべてのトランザクションが最終的に最終的な状態になります) これにより、あらゆる種類の優れたことが可能になりますが、提供されたリンクを読んでください。

トピックからすべてのデータを削除する方法、またはすべての実行前にトピックを削除する方法はありますか?

プロパティを変更するために KafkaConfig.scala ファイルを変更できlogRetentionHoursますか? 消費者がメッセージを読むとすぐにメッセージを削除する方法はありますか?

プロデューサーを使用してどこかからデータをフェッチし、コンシューマーが消費する特定のトピックにデータを送信しています。実行ごとにそのトピックからすべてのデータを削除できますか? トピックで毎回新しいデータのみが必要です。どうにかしてトピックを再初期化する方法はありますか?

Kafkaを使用する Android アプリに取り組んでいます。大量の依存関係があるため、Ivy を使用してそれらを管理することにしました (ただし、Ivy を使用したことはなく、一般的に Apache については経験がありません)。

私の問題は、Kafka の依存関係の 1 つであるsnappy-javaに、Linux、Mac、および Windows 用のネイティブ ライブラリを含む「ネイティブ」フォルダがあり、Android がエラーをスローしていることですThe library 'snappy-java-1.0.4.1.jar' contains native libraries that will not run on the device.。 -java jar、nativeフォルダーなしでソースから再コンパイルし、プロジェクトに戻します。Ivy が自動的にビルドするので、ファイル経由で行う必要があると思いivy.xmlますが、方法がわかりません。

フォルダを依存関係から直接除外しようとしています:

しかし、これは何も変わりません。の Ivy ドキュメントを見てきましたが、<exclude>推移的な依存関係を除外するため、またはモジュール全体を除外するためのようです。より具体的に取得することは可能ですか？

<conf>snappy-javaのivyファイルをいじってそれを行う方法があるよう<artifact>ですが、私はそれを機能させることができませんでした.とにかくIvyはそれらのファイルを自動的に生成すると思います. 誰かが私を正しい方向に向けることができますか? 前もって感謝します。

次のコードを検討してください。

問題は、最後のオフセットを取得し、変数を元に戻してOffset、Kafka から次のデータのバッチを読み取る方法です。

出力は次のようになります。

ドキュメントによると、最後の数字はオフセットです

つまり、上記の場合、最後のオフセット読み取りは299136

Kafka サーバーにメッセージを送信したい。ブローカーのリストには localhost が含まれていません。しかし、プロデュースが送信メソッドを呼び出すと、例外があります: ローカルホストへのプロデューサー接続:9092 失敗

例外：

ここで単純な消費者について述べたように

https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example

また、読み取られるオフセットが要求したオフセットより小さくないことを明示的にチェックしていることにも注意してください。Kafka がメッセージを圧縮している場合、要求されたオフセットが圧縮されたブロックの先頭でなくても、フェッチ要求は圧縮されたブロック全体を返すため、これが必要です。したがって、以前に見たメッセージが再び返される可能性があります。

最後に、読み取られたメッセージの数を追跡します。最後のリクエストで何も読み取らなかった場合は、1 秒間スリープ状態になるため、データがないときに Kafka を叩くことはありません。

私のプログラムのように、最初に古いメッセージの 1 つを読み取り、それが古いためスリープ状態になり、次に新しいレコードを読み取ります。

SimpleConsumer が新しいメッセージのみを読み取るようにするための回避策はありますか?

HTTP Post からデータを取得したいので、サーブレットでは次のように doPost を実装しています。

次のように実行時エラーをスローします。

何がうまくいかないのか、誰かが私を理解するのを助けることができますか?

お時間をいただきありがとうございます。

メッセージが消費または処理されたら、Kafka から確認を正確に取得する方法。ばかげているように聞こえるかもしれませんが、ack を受信したメッセージの開始オフセットと終了オフセットを知る方法はありますか?