問題タブ [amazon-sqs]

SDKを使用すると、キューを作成してキューリストを取得できますが、どういうわけか、どのキューにもメッセージを送信できません。以下を使用しました：

しかし、私はエラーを受け取っています：

$ queuesは次のとおりです：（xxxxxは数値です）

何か案は？

Celery 2.4.6 と django-celery 2.4.2 を使用しています。

この質問の解決策に従って Amazon SQS を使用するように Celery を設定すると: Celery with Amazon SQS

Django admin の celerycam テーブルに何も表示されません。RabbitMQ に戻すと、タスクが再び表示されるようになります。

SQS には、「celeryev-92e068c4-9390-4c97-bc1d-13fd6e309e19」のような名前のキューがたくさんあります (現在は 40 以上)。 ）、しかしデータベースには何も表示されず、celerycam ログにエラーは表示されません。

問題が何であるか、またはこれをさらにデバッグする方法についての提案は大歓迎です。

AWS Elastic Beanstalkで実行されている単純なWebアプリケーション（つまり、ロードバランサーの背後にある1..nの同一インスタンス）を考えると、1つのインスタンスでのみ実行されるスケジュールされたバックグラウンド操作をどのように行うことができますか？

私はWebアプリケーション内にcronのようなスケジューリングメカニズムを持っており、たとえばAWS Simple Queue Serviceを使用してタスクをキューに入れることができます（各タスクが1回だけ実行されるようにします）。しかし、（重複を避けるために）1つのインスタンスのみがタスクを作成するようにするにはどうすればよいですか？

もちろん、タスクの作成を担当する専用のインスタンスを持つこともできますが、通常のインスタンスの1つがその役割を自動的に引き受けることができるより動的なメカニズムを探しています。何か案は？

Amazon の MapReduce は初めてです。Hive ジョブから Amazon の SQS (シンプル キュー サービス) にメッセージを簡単に送信する方法を誰か教えてもらえますか? ジョブの S3 の結果へのポインターを SQS に入れ、自動取得をより簡単にしたいと考えています。

私は現在AWSに関連するプロジェクトを行っており、ある時点でさまざまな種類のメッセージをSQSキューに渡す必要があります。メッセージを文字列として渡したくはありませんが、たとえばwriterなどのjaxbによってxml形式に変換されたオブジェクトを配置したいと思います。助言がありますか？

ありがとう

私は現在、Amazon Cloud Computing に関連するプロジェクトを行っています。私はJavaでプログラミングしています。

メッセージ ( Stringxml データを含む) を渡す必要があり、それを sqs キューに入れる前にシリアル化する必要があります。

それをシリアライズして文字列形式に保つ方法はありますか? などの他の形式でメッセージを渡すことはできませんInputStream。

たった今：

• アプリ #1 SQS へのメッセージの挿入
• .Net ワーカー ロールがキューをポーリングし、メッセージが見つかった場合はアプリケーション #2 に送信されて処理されます。アプリケーション #2 が終了するのを待って、キューのポーリングを再開します。
• アプリ #2 長くて重いタスクであるメッセージを処理します

アプリ #2 はメッセージの処理にかなりの時間がかかる可能性があり、アプリ #1 から同時に送信されるメッセージの数を予測できないため、キュー システムにより、アプリ #2 がリソースを使い果たしず、システムが非常に簡単に拡張できることが保証されます。 . しかし、解決したい問題があります。キューをポーリングするためだけにワーカー ロール (現在は Azure 上) を実行するマシンを持たないことを好みます (ワーカー ロールがオプションではない他の場所ですべてがホストされます)。さらに、ポーリング間の一時停止のため、ポーリングはプッシュほど応答しません。

ポーリングからプッシュへの切り替えは正しい道のように思えますが、アプリ #1 から 1 秒間に 1,000 件のメッセージが送信されたとしても、アプリ #2 はそれらを 1 つずつ処理し、1 秒間に 1,000 回ヒットしないという保証を維持する必要があります。

App #1 は SQS と App #2 がサブスクライバーである SNS トピックに公開するデザインを計画していました。アプリ #2 は SQS キューをチェックし、空の場合は終了し、そうでない場合はメッセージを 1 つずつ処理してから終了します。しかし、アプリ #2 (現在は .Net web/web サービス) をコーディングして、既にメッセージを処理していて SNS から通知を受信した場合、何もせずに終了するようにするにはどうすればよいですか (複数の処理が実行されない場合)。

これを設計する方法について何か提案はありますか? このブログ投稿を読みましたが、処理アプリが複数のメッセージを同時に処理しないようにする方法がわかりません。

現在、SQL テーブルのキューにアイテムを追加しています。アイテムの処理には 5 ～ 35 秒かかるため、エラーが発生しやすくなっています。私はcronジョブでそれを行っていましたが、すべてのアイテムが処理される前にcronジョブページがタイムアウトするか、1つのアイテムが半分処理されてキューから削除されない可能性があるため、これは非常に無駄のようです

この方法を使用する代わりの方法を探していたところ、Amazon sqs に出会いました。新しいアイテムがキューに追加されたときに、sqs に http リクエストを送信させることは可能ですか?

単一の http リクエストを作成すると、長いリクエストの処理中にハングする apache への負担が大幅に軽減されます。

Amazon SQS で新しいメッセージを継続的にチェックし、メッセージが見つかったらアクションを実行してキューから削除するサンプル .Net アプリケーションを探しています。

私の目標は、新しいメッセージの SQS キューを監視するアプリを EC2 で実行することです。1 つが見つかると、複数の Web ベース API の 1 つが呼び出され、メッセージはキューから削除されます。

誰かが似たような例を教えてもらえますか?

edit このタイプのアプリケーションは、Windows サービスとして作成するのが最適でしょうか?

キューをサービスとして ( Amazon SQSと同様に) 社内で必要とするすべてのアプリケーションに提供したいと考えています。

車輪を再発明する前に、以下に準拠する製品を探しています。

• 水平にスケーリング
• パフォーマンスよりも高可用性
• 高度な機能に対する単純なキュー REST API (publish、deque、ack、nack)

背景: 私たちは主に Java/Groovy を使用しており、RabbitMQ と ActiveMQ の経験がありますが、あらゆる製品/言語に対応しています。

経験、製品、またはブローカー アダプターの提案をいただければ幸いです。