問題タブ [apache-kafka]

私は Kafka を初めて使用しますが、消費者に関して理解したのは、基本的に 2 種類の実装があるということです。
1)高レベルの消費者/消費者グループ
2)シンプルな消費者

高レベルの抽象化に関する最も重要な部分は、Kafka がオフセットの処理を気にしない場合に使用され、Simple コンシューマーがオフセット管理をより適切に制御できることです。マルチスレッド環境でコンシューマーを実行し、オフセットを制御したい場合、私を混乱させるのは何ですか?コンシューマーグループを使用する場合、それはズーキーパーに保存されている最後のオフセットから読み取る必要があることを意味しますか? それが私が持っている唯一のオプションです。

Hadoop の世界では、flume または kafka を使用してデータをストリーミングまたは収集し、Hadoop に保存します。Mango DBには、いくつかのことを達成するための同様のメカニズムまたはツールがあるのではないかと思っていますか?

カフカ0.8

私はクイックスタートガイドに従い、実行するステップ 2 に来るとbin/kafka-server-start.sh config/server.properties、例外に直面しています:

私は何が間違っているのでしょうか？お知らせ下さい。

Flume には、AMQP ソースをサポートするサードパーティのプラグインがいくつかあります。メッセージを直接flumeではなく、rabbitmqまたはqpidに送信してからflumeに送信する必要があるのはなぜですか? 何か足りないのですか？

また、Qpid、rabbitMQ などのメッセージング キューを使用する必要があるのはどのような場合で、Flume のような場合はどのような場合ですか? 私の場合は重要ではない Qpid 、RabbitMQ 保証注文配信を読みました。他に違いはありますか？

実行中の Flume エージェントにチャネルとシンクを動的に追加できますか? ファイル ロール シンクを使用して新しいチャネルをソースに追加すると、conf ファイルを変更して再起動するだけで、コードを変更する必要はありません。Flume エージェントを再起動せずに動的に行う方法はありますか

Kafka または Flume を使用して RDBMS のトランザクション ログをテール/読み取り、データを Hadoop (HBase など) に書き直そうとした人はいますか? したがって、RDBMS からほぼリアルタイムのバックアップを維持できます。

経験の共有を探しています。

プロデューサー構成の下の0.8ドキュメントから、プロパティrequest.required.acks

値は、いつproducer receives an acknowledgementブローカーから送信されるかを制御します。

典型的な値は

(1) 0。これは、プロデューサがブローカからの確認をまったく待機しないことを意味します

(2) 1 はproducer gets an acknowledgement、リーダー レプリカがデータを受信した後であることを意味します。

(3) -1。これは、producer gets an acknowledgementすべての同期レプリカがデータを受信した後であることを意味します。

request.required.acks値がの場合、プロデューサーでこの確認を受け取る方法を教えてください1。ボイドであるため、それproducer.send(MessageKey)を取得するオプションが見つかりませんでした。

Kafka 0.8 ベータ 1 を起動して実行しました。非常に単純な例を起動して実行していますが、問題は、複数ではなく 1 つのメッセージ コンシューマしか動作させられないことです。つまり、runSingleWorker() メソッドは機能します。run() メソッドは機能しません:

そして私のおもちゃの消費者の中：

問題は、ワーカーのプールがメッセージを取得しないことです。

Produce コマンド ラインを介してメッセージを追加すると、シングル スレッド ワーカー バージョンではメッセージが出力されますが、マルチストリーム環境ではメッセージが出力されません。何が起きてる？どうすればこれを修正できますか?

ところで、kafka 0.8 の pom.xml は有効な pom ではなく、依存関係を取得しないため、完全な依存関係を持つ pom を次に示します。

仕事に適したツールを見つけようとしています。Kafka、Kestrel などのいくつかの異なるメッセージ キューを調べましたが、PULL 機能を備えたものを探しています。

着信メッセージをキューに押し込む API (分散) があります。次に、キューからメッセージをプルするワーカー (別のマシン) を用意します。これにより、ワーカーがフラッディングされず、キューの負荷を処理できなくなります。

Kafka または Kestrel がこのタイプの機能をサポートしているかどうか疑問に思っています

クイックスタート チュートリアルから Apache Kafka を学習しています: http://kafka.apache.org/documentation.html#quickstart。これまで、次のようにセットアップを行ってきました。Web サーバーがポート 8888 で実行されているプロデューサー ノード。 別のノード上の Kafka サーバー (ブローカー)、コンシューマーおよび Zookeeper インスタンス。また、デフォルトのコンソール/ファイル対応のプロデューサーとコンシューマーを 3 つのパーティションでテストしました。セットアップは完璧で、送信したメッセージを作成した順序で (各パーティションで) 見ることができます。

ここで、Web サーバーから生成されたログを Kafka Broker に送信したいと考えています。これらのメッセージは、後でコンシューマーによって処理されます。現在、syslog-ng を使用してサーバー ログをテキスト ファイルにキャプチャしています。ログ集計に kafka を使用するためにプロデューサーを実装する方法について、3 つの大まかなアイデアを思いつきました。

プロデューサーの実装

第 1 種: syslog-ng の tcp ポートをリッスンします。各メッセージを取得し、kafka サーバーに送信します。ここには 2 つの中間プロセスがあります: Producer と syslog-ng
2 番目の種類: syslog-ng を Producer として使用します。ファイルに書き込む代わりに、メッセージを Kafka サーバーに送信する方法を見つける必要があります。Syslog-ng、プロデューサーは中間プロセスです。
3 番目の種類: Web サーバー自体をプロデューサーとして構成します。

私の考えは正しいですか。最後のケースでは、中間プロセスはありません。しかし、その実装がサーバーのパフォーマンスに影響を与えるとは思えません。Apache Kafka を使用する最善の方法 (上記の 3 つが適切でない場合) を教えてくれ、サーバーの適切な構成を案内してくれますか?..

PS: Web サーバーに node.js を使用しています

ありがとう、
サラス

Kafka 0.7.2 を使用して複数のブローカーを開始しようとしています。次のエラーが表示されます。

2 つのブローカー用に 2 つの異なる構成ファイルを作成し、次のコマンドで実行しました。

私は0.8で同じことをしましたが、うまくいきました。ここで何か不足していますか？