問題タブ [amazon-sqs]

私が正しく理解していれば、nServiceBus を「フレームワーク」および/または RabbitMQ のラッパーとして使用できます。RabbitMQ の好みは、Linux マシンで使用できることです。

バックグラウンド

人々が画像をアップロードできるようにするアプリケーションがあります。これらの画像にはサムネイルが必要です。

私たちのアプリケーションは主にasp.net（c＃）です

私の考えは、次のことを行うことです。

• フルサイズの画像を S3 (または任意のストレージ サービス) にアップロードします。
• 入力ストレージ キー、出力ストレージ キー、幅、高さを持つ「メッセージ」を作成し、キューに追加します。
• キューからメッセージを読み取り、実際のサイズ変更を行うワーカー (Windows ライセンスの制約) として機能する Linux サーバーがあります。
• 新しい画像は、受信したメッセージの出力キーによって定義された S3 に配置されます

Amazon SQS を使用できると思いますが、転送用の RabbitMQ を使用した nServiceBus の可能性を探りたかったのです。

誰かがこれを行うことについてさらに情報を持っていますか? GitHub でこれを見ました: http://github.com/machine/machine.mta/tree/master/Source/NServiceBus.Unicast.Transport.RabbitMQしかし、これをどのように使用できるか疑問に思っていましたか?

これにアプローチするためのあなたの好ましい方法は何ですか?

こんにちは、Amazon シンプル キュー サービスを使用するソフトウェアを開発していて、いくつかのキューのステータスを簡単に確認するのに役立つ GUI があるかどうかを知りたいのですが、ありますか?

どうもありがとう、チアゴ

私はクラウド コンピューティングの世界 (Amazon Web Service を含む) に非常に慣れていないので、非常に簡単な質問があります。

• 作成時に Amazon sqs のリージョンを設定するにはどうすればよいですか? デフォルトのリージョンは「US-West (北カリフォルニア)」です。

ありがとう！

私はこのチュートリアルに従っています: http://boto.s3.amazonaws.com/sqs_tut.html

キューに何かがある場合、それを処理するために 20 人のワーカーの 1 つを割り当てるにはどうすればよいですか?

私はPythonを使用しています。

netflix を構築していて、各ビューをユーザー ID とムービー ID でログに記録したいとします。

形式は、viewID、userID、timestamp、

ただし、これをスケーリングするために、1 秒間に 1000 ビューを取得していると仮定します。これらのビューを SQS のキューに入れ、キュー リーダーが 1 つずつキューを解除して、それを mysql データベースに書き込むのは理にかなっていますか。このようにして、データベースが書き込み要求で過負荷になることはありません。

これはうまくいくように見えますか？

（Amazon SQSを使用して）ジョブキューがあり、HTTPを介してさまざまなドキュメントをフェッチして処理するために多くのマシンにジョブを渡します。アクセスされるホストは数百あり、ジョブの順序は予測できません。

礼儀正しくするために、私は自分のシステムが単一のホストで繰り返しハンマーを打つことを望まない。したがって、example.comから何かをフェッチするためにジョブ＃123を取得したが、過去X秒間にexample.comから別のものをフェッチしたことがわかった場合は、別の何かに移動してジョブ＃123を保存する必要があります。後で。

問題は、このパターンを実装するための良い方法は何ですか？

最初のステップは、ジョブランナーにすべてのドメインのリストを保持させ、そのドメインの何かに最後にアクセスしたときのようです。これは単純なDBテーブルである可能性があると思います。

その場合、メッセージプロセッサが延期する必要のあるジョブを取得した場合の対処方法には多くの可能なオプションがあります。

1. メッセージのコピーをキューの最後にプッシュし、実行せずに破棄するだけです。うまくいけば、次にそれが来るときまでに、十分な時間が経過するでしょう。これにより、特に同じドメインのジョブの大規模なクラスターが一度に通過する場合に、冗長なSQSメッセージが多数発生する可能性があります。

2. ただし、礼儀正しさがジョブの実行を指示するまで、何秒もスリープする必要があります。これにより、多くのキュープロセッサが同時に何もしない可能性があります。

3. ジョブを受け入れますが、各キュープロセッサのどこかにあるローカルキューに保存します。各プロセッサがこの方法で多数のジョブを「要求」し、最大の礼儀正しさを実現する順序でそれらを処理することを選択できると思います。各キュープロセッサは、他のすべてのドメインがヒットしたドメインを認識する必要があるため、これは依然として予測できない可能性があります。

4. ドメインごとに個別のキューを確立し、各キュー専用の1つのプロセスを用意します。各プロセスは、各ジョブを実行する間にX秒間一時停止する必要があるため、スリープ状態のプロセスのオーバーヘッドが多くなりますが、これはそれほど悪いことではないかもしれません。

このようなものをデザインした経験はありますか？どのような戦略をお勧めしますか？

AmazonのSQSからキューに接続しようとすると、次のエラーが発生します

キューに接続しようとしているのはPHPスクリプトです。

キューは数日間機能し、その後このメッセージが表示されます。なぜ機能しなくなるのか誰か知っていますか？

それが役立つ場合は、rightscaleを使用してインスタンスやキューなどを管理しています。

Amazon の SQS オファリングに出くわしました。これは、クラウドで実行されるプロデューサー コンシューマー ソリューションを対象としたメッセージング キューです。

Amazon クラウド内で実行される大規模なソリューションのために、私自身のプライベート クラウドで概念実証を構築しようとしています。

Ubuntu Enterprise Cloud (Eucalyptus) は Amazon の SQS と同等のサービスを提供しますか?

SQS は何らかの種類のメッセージング標準に準拠しているため、別のオープン ソース実装を使用できますか?

問題を詳しく説明する前に、私の現在のアプローチについて説明します。

setInterval() を実行する js スクリプトがあります。間隔ごとに、SQS を呼び出してキューからメッセージを取得します。メッセージがあれば処理します。
そのため、プロセスを強制終了するまで無限に実行されます。

以前にノードサーバーも構築しました（ nodejs.org の例を使用）

だから、私が不思議に思っているのは、 setInterval を定期的に実行する代わりに.. SQS に新しいメッセージがある場合、イベントを発生させてメッセージを処理する方法はありますか?

Amazon SQS を使用してタスク キューを実装しています (ただし、質問はどのタスク キューにも当てはまると思います)。ここで、ワーカーは、ジョブが既に再試行された回数に応じて異なるアクションを実行することが期待されます (に移動します)。別のキュー、可視性タイムアウトの増加、アラートの送信など)

失敗したジョブ数を追跡する最良の方法は何ですか? job:retry-count レコード用に一元化されたデータベースを保持する必要がないようにしたいと思います。監視プロセスではなく、キューで費やされた時間を確認する必要がありますか? せいぜい醜い、または汚れているIMOで、古いジョブが見つかるまでジョブを繰り返します..

ありがとう！アンドラス