問題タブ [apache-samza]

HA のリソース マネージャーで Samza を使用している人はいますか? もしそうなら、私は何に設定yarn.resourcemanager.hostnameしyarn-site.xmlますか？

最初の RM に設定すると、その RM からジョブをサブミットし、RM がアクティブな場合、ジョブのサブミットは正常に機能します。ジョブの送信元の RM マシンがアクティブでない場合、ポート 8032 で接続拒否エラーが発生します。

最近、Samza フレームワークでストリーム処理作業を実行しようとしています。hello-samza の例を正常にデプロイしました。しかし、自分の仕事を書こうとすると、どこから仕事を始めればいいのかわかりません。

このドキュメントを読みましたが、まだ要点がわかりません。誰でも私を助けることができます：

1. 私のコードのアーキテクチャ (ソース コード、lib コード、および構成) は何ですか。
2. コードがプッシュされるディレクトリ。
3. コードを実行するために必要なその他の作業。

あなたの提案は私に大いに役立ちます、どうもありがとう！

今、私は samza の基本的なセットアップを行いました。その後、kafka ブローカー トピックからの 1,00,000 json レコードを処理します。各レコードのサイズは 100 バイトですが、1 秒あたり 11000 レコードしか処理できません。処理速度を上げるには？

以下の構成を使用して、samza を kafka-broker に接続できます

しかし、 SystemFactory クラスに関しては疑問があります。独自の systemfactory クラスを作成するには? SystemFactoryClass の目的は何ですか? アイデアを教えてください

Kafka 上で実行され、samza を使用するイベント ソーシング (またはステートフル ストリーム処理) アプリケーションをテストおよびデバッグしています。起動時に samza ジョブが空のカフカをインストールできるように、カフカのキューとトピックを削除したいと考えています。

どうすればできますか??

編集：

質問は、私が最初に書いたものよりもかなり複雑で具体的です。

Davidが述べているように、kafka 0.8.2から始まるトピックをパージする解決策があります： Purge Kafka Queue

私が興味を持っているのは、zookeeper と kafka (私の git リポジトリーにバイナリー・パッケージとしてバンドルされています) を自動的にロードするテスト環境をセットアップすることです。

私はgradle環境+ eclipseとJUnitを使用しています。Eclipse から統合テストを実行します (JUnit テストとして)。

ロードはどのように自動化できますか? 環境をセットアップし、kafka と Zookeeper を起動するには、特定の Test クラスを作成する必要がありますか? 参考例/コードはありますか？アイデアは、環境をロードし、いくつかのテストを実行して停止することです。このプロセスが数秒で完了できれば、さらに良いでしょう。