問題タブ [apache-kafka]

メッセージが消費または処理されたら、Kafka から確認を正確に取得する方法。ばかげているように聞こえるかもしれませんが、ack を受信したメッセージの開始オフセットと終了オフセットを知る方法はありますか?

私は Kafka を初めて使用しますが、消費者に関して理解したのは、基本的に 2 種類の実装があるということです。
1)高レベルの消費者/消費者グループ
2)シンプルな消費者

高レベルの抽象化に関する最も重要な部分は、Kafka がオフセットの処理を気にしない場合に使用され、Simple コンシューマーがオフセット管理をより適切に制御できることです。マルチスレッド環境でコンシューマーを実行し、オフセットを制御したい場合、私を混乱させるのは何ですか?コンシューマーグループを使用する場合、それはズーキーパーに保存されている最後のオフセットから読み取る必要があることを意味しますか? それが私が持っている唯一のオプションです。

Hadoop の世界では、flume または kafka を使用してデータをストリーミングまたは収集し、Hadoop に保存します。Mango DBには、いくつかのことを達成するための同様のメカニズムまたはツールがあるのではないかと思っていますか?

カフカ0.8

私はクイックスタートガイドに従い、実行するステップ 2 に来るとbin/kafka-server-start.sh config/server.properties、例外に直面しています:

私は何が間違っているのでしょうか？お知らせ下さい。

Flume には、AMQP ソースをサポートするサードパーティのプラグインがいくつかあります。メッセージを直接flumeではなく、rabbitmqまたはqpidに送信してからflumeに送信する必要があるのはなぜですか? 何か足りないのですか？

また、Qpid、rabbitMQ などのメッセージング キューを使用する必要があるのはどのような場合で、Flume のような場合はどのような場合ですか? 私の場合は重要ではない Qpid 、RabbitMQ 保証注文配信を読みました。他に違いはありますか？

実行中の Flume エージェントにチャネルとシンクを動的に追加できますか? ファイル ロール シンクを使用して新しいチャネルをソースに追加すると、conf ファイルを変更して再起動するだけで、コードを変更する必要はありません。Flume エージェントを再起動せずに動的に行う方法はありますか

Kafka または Flume を使用して RDBMS のトランザクション ログをテール/読み取り、データを Hadoop (HBase など) に書き直そうとした人はいますか? したがって、RDBMS からほぼリアルタイムのバックアップを維持できます。

経験の共有を探しています。