問題タブ [spring-xd]

Spring XD を分散モードで開始しようとしています (具体的には BOSH でデプロイします)。管理コンポーネントはモジュール コンテナーとどのように通信しますか?

TCP/HTTP 経由の場合、すべてのコンテナーがどこにあるかを管理コンポーネントに通知する必要がありますか? Redis 経由の場合、コンテナに Redis インスタンスの場所を伝える必要があると思いましたか?

アップデート

xd-adminあるボックスで Redis を実行しxd-container、別のボックスでredis.properties管理ボックスを指すように更新してみました。コンテナーは、例外を報告せずに開始します。

サンプル ストリーム送信を実行しcurl -d "time | log" http://{admin IP}:8080/streams/ticktockても、どちらのコンソールにも出力されず、ログにも出力されません。

リアルタイムのビッグデータ分析ソリューションを積極的に探しています。

今のところ、成熟した俳優Twitter Stormと若い挑戦者Spring XDを特定しました。

Spring XDがログ イベント ストリームや Twitter ストリームをリアルタイムで処理できるかどうか、Storm と同じように処理できるかどうかを知っている人はいますか?

両方のテクノロジーの既知の制限は何ですか?

CDH サポートが必要だったので、最新の spring-xd をコンパイルしました。サーバーを起動することはできますが、xd-shell 経由でサーバーに接続すると、「構成」を変更しようとします。また、これは Kerberos 化されたクラスターです。xd がそれをどのように処理するか、または処理できるかはわかりません。

最初のシナリオ:

1. 管理構成サーバー --uri http:// testdomain:10111
2. hadoop config fs --namenode hdfs://nameservice1:8020
3. hadoop config props set hadoop.security.group.mapping=org.apache.hadoop.security.ShellBasedUnixGroupsMapping
4. hadoop config props load hadoop.security.group.mapping
5. Hadoop fs ls

エラーメッセージ：

2番目のシナリオ

または、いくつかのJavaオプションを削除します

前のシナリオのステップ 1、2 を実行します

それから

1. hadoop config props set hadoop.security.authorization=true
2. hadoop config props set hadoop.security.authentication=kerberos

以下のエラー

16:50:29,682 WARN Spring Shell util.NativeCodeLoader:62 - お使いのプラットフォームのネイティブ Hadoop ライブラリをロードできません... 該当する ls: 認可 (hadoop.security.authorization) が有効になっているが、認証 (hadoop) .security.authentication) はシンプルに設定されています。kerberos やダイジェストなどの別の方法を設定してください。

ご支援いただきありがとうございます - これが機能するのが待ちきれません!

Spring XD は、分散モードでの実行時に自動フェイルオーバーをサポートしていますか? 現在、2 つのコンテナーのセットアップで単純なストリームを作成すると、ソースは一方のコンテナーにデプロイされ、シンクはもう一方のコンテナーにデプロイされます。2 番目のコンテナーをシャットダウンすると、ストリームはデプロイ済みとしてリストされます。ストリームをアンデプロイして再度デプロイすると、ソースとシンクの両方が 1 つのコンテナーにデプロイされた状態で、期待どおりに機能し始めます。これが自動的に行われることを期待しています。次のサンプル ストリームでバージョン 1.0.0.M3 を使用しています。

stream create --definition "time | log" --name ticktock

Spring XD コンテナーへのモジュールのデプロイに関する 3 つの質問:

1. 特定のソースとシンクでは、モジュールをデプロイするコンテナーを指定する必要があります。さまざまなマシンに多数のコンテナーがあり、1 つのマシンからログ ファイルを読み取るストリームを確立したいとします。タイプ tail のソース モジュールは、ログ ファイルを使用してマシン上で実行されているコンテナーにデプロイする必要があります。どうやってそれができる？

2. モジュールの実行をコンテナのグループに制限したい場合があります。コンテナを使用したバッチ処理用の強力なマシンがいくつかあり、コンテナがデータ (ログ ファイルなど) を取り込むためだけに他のプロセスと並行して実行される他のマシンがあるとします。それは可能ですか？

3. カスタム モジュールがある場合、モジュール xml と jar を特定のコンテナーだけに追加して、それらのモジュールがそこで実行されるようにすることは可能ですか? それとも、すべてのコンテナーで同じモジュール定義が必要ですか?

ありがとう！

Hortonworks のチュートリアル「Spring XD を使用してツイートを Hadoop にストリーミングし、感情分析を行う」を実行しようとしています。

ステップの一部として、次のコマンドを使用しています。

この時点で、タイムアウト例外が発生します。

したがって、ストリームを作成する次のステップを使用しました

この時点で、次のエラーが表示されます。

原因: java.net.ConnectException: localhost/127.0.0.1:8020 への呼び出しが接続例外で失敗しました: java.net.ConnectException: 接続が拒否されました: org.apache.hadoop.ipc.Client.wrapException(Client. java:1142) org.apache.hadoop.ipc.Client.call(Client.java:1118) で org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) で com.sun.proxy .$Proxy52.getProtocolVersion(未知のソース) at sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド)

Hortonworks Sandbox がある Windows 7 ラップトップを使用しています。

Hortonworks サンドボックスの設定には、次のものがあります。

1) ネットワーク --> NAT ドライバーを無効にします。2) ブリッジ アダプターを使用します --> Intel(R) Contrino(R) Ultimate-N 6300 AGN。

私はこれに慣れていないので、小さな間違いを犯した場合はご容赦ください

現在、スレッドを開始してログ ファイルを追跡するダッシュボード Web アプリケーションがあります。ファイルに行が追加されても、テーラーはそれを取得して解析し、アプリケーションの周りにイベントを発行します。これにより、送信などの処理が行われますWeb ソケットを介してクライアントに送信するか、ディスクに保存されている合計を更新します。

これはすべて正常に動作し、これまでのところまぶたを打つことなく 1 日 500,000 のログ イベントを処理しているようです。

しかし、Spring ファミリーを見ると、より「標準化された」方法でこれを行うためのより良い方法があり、コードの保守が容易になり、他の人がそれをサポートしやすくなります。

私はSpringを初めて使用するので、この種のことがSpring IntegrationまたはSpring XDに最適かどうか、またはさらに一歩進んでSpring IntegrationとRabbit MQを使用する必要があるかどうか教えてもらえますか?

Greenplum に挿入したり、Greenplum で作業するためのテンプレートやユーティリティを提供する Spring プロジェクトはありますか?

Spring Batch を使用して、タスクレットに Greenplum gpload ユーティリティを呼び出し、指定したファイルをデータベースに挿入するという 1 つのアプローチがあることを理解しています。

ただし、Spring Data プロジェクトと Spring XD プロジェクトの両方が、データ アクセスを抽象化し、ビッグ データ要件を処理することを目指しているという事実を考えると、この要件のためにカスタムメイドされたものがあるはずです。Pivotal が現在 GreenPlum と Spring の両方と密接に関わっていることを考えると、これは特別なケースです。

Spring と Greenplum を使用した経験があり、指針やベスト プラクティスを提供できる人がいれば、非常にありがたいです。