問題タブ [apache-kafka]

何度か再試行し、bat ファイルを変更した後、最終的に Windows 7 で Kafka と Zookeeper を実行することに成功しました。これは Java 7 を実行する 32 ビット マシンです。残念ながら、トピックを作成できません。ここのチュートリアルを使用してみました: http://janschulte.wordpress.com/2013/10/13/apache-kafka-0-8-on-windows/

コマンドを実行しました：

C:\Cambria\kafka_2.8.0-0.8.0>bin\kafka-create-topic.bat --zookeeper localhost:2181 --replica 1 --partition 1 --topic トピック

そして、次のエラーで終わります：

すべてのクラスパス エントリが適切であり、必要な JAR ファイルも存在します。問題が何であるかわかりません。誰かがこれについて私を助けることができますか?

PS: Cygwin でこれを試したところ、クラスパスが適切に設定されていますが、Class Not Found エラーが発生しています。

Apache Kafka: 分散メッセージング システム
Apache Storm: リアルタイム メッセージ処理

イベント データを処理するリアルタイム データ パイプラインで両方のテクノロジを使用するにはどうすればよいでしょうか?

リアルタイム データ パイプラインに関しては、どちらも同じ仕事をしているように思えます。データ パイプラインで両方のテクノロジを使用するにはどうすればよいでしょうか?

私はカフカストーム統合を行っていますが、ストームコードの実行中にこのエラーが発生しています

pomファイルにzkclientがありません

問題は何ですか？助けてください

Kafka-0.8 Log4j アペンダーを実行しようとしていますが、実行できません。アプリケーションで、Log4j アペンダーを介して直接ログを kafka に送信したい。

これが私のlog4j.propertiesです。適切なエンコーダーが見つからなかったので、デフォルトのエンコーダーを使用するように構成しました。(例えば、私はその行にコメントしました。)

これが私のサンプルアプリケーションです。

コンパイルにはmavenを使用しました。pom.xml に kafka_2.8.2-0.8.0 と log4j_1.2.17 を含めました

そして、私はこれらのエラーが発生しています:

プログラムを終了しないと、継続的に上記のエラーが発生します。

何か見逃した場合は、お知らせください。

Camel と Kafka を統合しようとしています。以下のルートを実装しました。

ラジャ

これを camel:run でテストしたところ、メッセージを kafka クラスターに発行できました。しかし、ServiceMix OSGi コンテナーにバンドルしてデプロイすると、次の問題が発生します。

2014-02-26 17:00:17,190 | エラー | #0 - タイマー://foo | DefaultErrorHandler | 100 - org.apache.camel.camel-core - 2.10.7 | (MessageId: ID-VVVVV-d-40084-1393430384926-0-11 on ExchangeId: ID-VVVVV-d-40084-1393430384926-0-12) の配信に失敗しました。配信試行後に使い果たされました: 1 つがキャッチされました: org.apache.camel.CamelExecutionException: 交換での実行中に例外が発生しました: Exchange[メッセージ: RAJA] org.apache.camel.CamelExecutionException: 交換での実行中に例外が発生しました: Exchange[メッセージ: RAJA] at org.apache.camel.util.ObjectHelper.wrapCamelExecutionException(ObjectHelper.java:1344)[100:org.apache.camel.camel-core:2.10.7] at org.apache.camel.impl.DefaultExchange.setException (DefaultExchange.java:282)[100:org.apache.camel.camel-core:2.10.7] org.apache.camel.component.bean で。kafka [216] at org.apache.felix.framework.ModuleImpl.findClassOrResourceByDelegation(ModuleImpl.java:812) at org.apache.felix.framework.ModuleImpl.access$400(ModuleImpl.java:72) at org.apache.felix. Framework.ModuleImpl$ModuleClassLoader.loadClass(ModuleImpl.java:1807) at java.lang.ClassLoader.loadClass(ClassLoader.java:358)[:1.7.0_51] ... 51 続きを読む 2014-02-26 17:00:17,204 | | 警告 | #0 - タイマー://foo | タイマー消費者 | 100 - org.apache.camel.camel-core - 2.10.7 | 交換の処理中にエラーが発生しました。Exchange[メッセージ: RAJA]。原因: [org.apache.camel.CamelExecutionException - 交換での実行中に例外が発生しました: Exchange[メッセージ: RAJA]] org.apache.camel.CamelExecutionException: 交換での実行中に例外が発生しました: Exchange[メッセージ: RAJA] at org.apache.camel.util.

これはscalaのバージョンの不一致の問題ではないかと思いましたが、同じバージョンのscalaを使用しても修正されませんでした。

目標: Java cleint から kafka にメッセージを送信しようとしています。
そして、それは苦痛でした..
簡単に説明しましょう。

1. centos VM に kafka をインストールしました。
2. 付属の飼育係、サーバー、プロデューサー、およびクライアントをすべてのデフォルトのプロパティファイルで実行しました。
   メッセージを正常に送受信しました。
3. 私のコンピューターから VM の Zookeeper (2181) ポートと kafka サーバー (9092) ポートへの telnet 接続があります。

ここで、トピックにメッセージを送信するための Java コードを記述します。サイトのクイック スタートの例を使用します。

4 行目で失敗し、次の例外が発生します。

と

問題。

1. 例外。
   悪いパラメーター: kafka
   クイック スタートの例では、zk.connect、serializer.class のみが必要であることがわかります。 実行すると、Producer のコンストラクターに metadata.broker.list が必要であると叫びます。
   そうですか？ということで、カフカサーバーのIPとポートを感じます。
   ところで-zk.connectまたはzookeeper connectですか?ZkTimeoutException:タイムアウト内にzookeeperサーバーに接続できません:400

2. maven bad versions
   サイトにアクセスすると、最新バージョンが kafka_2.8.0-0.8.0 であることがわかります。
   問題1 - intelijを使用してダウンロードします（maven centralだと思います）-
   関連するすべてのjarを取得します-kafka jarが空であることのみ（マニフェストのみを含む）。

   問題 2 - サイト内のバージョンよりも新しいバージョンがあります。彼らは公式ですか。
   とにかく、 org.apache.kafka:kafka_2.10:0.8.0 をダウンロードしました

3. 
   Wireshark を使用すると、3 つの SYN と ACK (トリプル ハンドシェイク) が表示され、その直後にFYN と ACKが表示されます。飼育係のログに次のように表示されます [2014-02-27 01:43:42,127] WARN EndOfStreamException: クライアント セッション ID 0x0 から追加データを読み取れません。クライアントがソケットを閉じている可能性があります
   (org.apache.zookeeper.server.NIOServerCnxn )
   つまり、接続を閉じます。なんで？

Kafka からデータをストリーミングする Spark でワード カウントの例を実行しようとしています。 ソースコードはこちら。しかし、Cloudera Spark ディストリビューションはインキュベーター ディストリビューションとは少し異なることがわかりました。私は問題なくスパークシェルを実行し、そこからワードカウントの例を実行します。ただし、bin フォルダーには "run-example" スクリプトはありません。これはサンプル ソース コードに示されています。

私はjarにかなり慣れていませんが、コマンドラインでJavaプログラムを実行するには、すべての依存関係とコードをパッケージ化し、コンパイルしてjarファイルに入れる必要があることを知っています。そして、jar ファイル全体を実行します。これは、「run-example」コードが行うことだと思います。

run-example スクリプトなしで KafkaWordCount.java の例を実行する方法を誰か教えてもらえますか?

ここで同様の質問ですが、毎回spark-shellでJavaコードを実行したくありません。

どうもありがとう。

Hadoop: Cloudera Manager によって管理される Cloudera Hadoop ディストリビューション (CDH 4.6.0-1.cdh4.6.0.p0.26) があります。

Spark: (SPARK 0.9.0-1.cdh4.6.0.p0.50) パーセルをダウンロードし、このサービスを配布して有効にしました。

Kafka: kafka-0.8.0、ソースをダウンロードしてソースからビルドしました。

Kafka のビッグ ユーザー (LinkedIn など) は、アップロードされた画像を Kafka に保存しますか? すべてをログに記録するアーキテクチャ上の単純さが気に入っていますが、実際には機能しないのではないかと懸念しています。

私はカフカのインストールをテストしようとしており、プロデューサーとコンシューマーを作成したガイドを使用しています。メッセージを取得しようとすると、次のエラーが発生します。

私は、消費者のために Kafka 0.8.0 でsarama ( https://github.com/Shopify/sarama/ ) を使用しています。これは私のコードがどのように見えるかです:

一度に実行できる processJob ゴルーチンの数を制御するために、バッファリングされたチャネル (c.sem) を使用しています。これは、コンシューマーの同時実行/速度を制御する方法です。

このアプローチの問題点は、同時実行性を変更する必要がある場合、コンシューマをシャットダウンして再起動する必要があることです (チャネル バッファ サイズはコマンド ライン フラグです)。処理されたオフセットをログに記録し、ログを調べて、処理されたオフセットと、コンシューマーを再開する場所を特定する必要があります。これらのオフセットを管理するために、よりハンズフリーなアプローチが必要です。

consumer.properties で autocommit.enabled を true に設定しましたが、zookeeper には何も変化が見られません。これは、現在の Kafka プロトコルがオフセット API をサポートしていないためだと思います: https://issues.apache.org/jira/browse/KAFKA-993

ジョブの処理が完了した後、オフセットを手動で Zookeeper に保存しようとすることはできますが、複数の非同期 processJob が実行されている場合にそれがどのように機能するかはわかりません。これは、Kafka がオフセットを格納することになっている場所です: https://cwiki.apache.org/confluence/display/KAFKA/Kafka+data+structures+in+Zookeeper

これは単一の値を保持することになっていますか? それが本当なら、異なるプロセス間に待ち時間があり、お互いの値を上書きする可能性があるため、非同期の processJob を使用できないことを意味します。コンシューマーは単一のスレッドで実行され、一度に 1 つのイベントを処理することになっていますか? ゴルーチンルートに行く代わりに、より多くの消費者を開始して物事をスピードアップする正しいアプローチはありますか?