問題タブ [amazon-sqs]

開発中に、Amazon SQS で偽のメッセージを大量に生成しています。すべてのメッセージを削除する小さなアプリを作成しようとしていました (開発中に頻繁に行うことです)。キューをパージするツールを知っている人はいますか?

これはばかげた質問かもしれませんが、秘密鍵と公開鍵が必要な場合、Amazon SQS を使用する意味は何ですか? クライアントが秘密鍵と公開鍵を持っている場合、おそらく逆コンパイルまたはその他の手段で鍵を発見できます...

私が考えることができる唯一の安全な方法は、秘密鍵と公開鍵を持つプロキシ (php など) を使用することです。しかし、そもそも SQS を使用する意味は何ですか? SQS の主な利点 (わかります) は、スケールアップできることと、受信するメッセージの数を気にする必要がないことです。しかし、プロキシを使用する場合は、それもスケーリングする必要があります...私の懸念が理にかなっているといいのですが?

ありがとう

SQSキューに何百万ものイベントがあり、それらをすばやく削除したいが、キューを削除して新しいキューを作成することはできないとします。

それらのイベントをキューから削除/排出する最速の方法は何ですか？

私にはたくさんの仕事があり、すべての仕事は、多くのワーカーアプリケーションが動作するいくつかの基本的な操作から構成されているとしましょう。

私はすべての操作のメッセージをワーカーに送信します。これにより、ワーカーはこれらのメッセージをキャッチし、必要な処理を実行してから、コントロールキュー内のメッセージでコントロールアプリケーションに通知できます。

しかし、どうすればすべての操作が完了したことを知ることができますか？SQSメッセージの順序が正しくないため、「最後の」メッセージを送信することはできません。

セロリに裏打ちされたブローカーとしてAmazonSQSを使用したい。セロリが依存している昆布のSQSトランスポート実装があります。ただし、それを使用するための十分なドキュメントがないため、CeleryでSQSを設定する方法が見つかりません。CeleryでSQSを設定することに成功した人はいますか？

これが私の状況です：

生データを取得してデータベースに保存し、アイテム ID を取得して Amazon SQS キューに投稿するスクリプトがあります。

データベースから生データを取得して処理する別のスクリプト (PHP で記述) があります。（通常、数分かかります。

欠けている部分は、SQS からメッセージを取得して処理する方法です。処理する新しいデータの頻度はさまざまで、1 時間あたり数アイテムから 1 分あたり数十アイテムまでさまざまです。

1 つの方法は、新しいメッセージについて SQS にクエリを実行し、処理スクリプトを起動する cron ジョブを用意することです (マルチスレッド化され、php.Python または Ruby 以外で記述されている必要があります)。cron に関する問題は、非常に非効率的であることです。高負荷フェーズでは圧倒され、静かなフェーズでは無駄な呼び出しを行うことになります。

私が望むのは、メッセージを受信して​​処理するある種のマルチスレッド リスナーです。重要な要件の 1 つは、生データをタイムリーに処理することです。受信後、せいぜい数分です。

最善の解決策について何か考えはありますか？SQS はタスクに適していますか? キューをリッスンして処理する最も効率的な方法は何ですか?

AmazonSQSにメッセージを送信するWPFアプリケーションを使用しています。

受信側では、Amazonキューからメッセージを受信して​​さらに処理を行うことができます。受信側のコードサンプルは次のようになります。

ここで、受信側のサービスで、上記のコードを実行し続けて、キューにメッセージが存在するかどうかを確認する必要があります。Windowsサービス（WCF）がそのタスクを実行しますか、それともこれを実行するためのより良い方法がありますか？

私は AWS を検討しており、Amazon EC2 および Amazon SQS の使用開始(PDF) のオンライン写真処理サービスの例のような EC2 アプリを Java EE に実装したいと考えています。クライアント向けの Web サーバー アプリに非同期的にジョブを送信する Web ベースのクライアントがあり、1 つ以上のワーカー サーバーがジョブを取得して実行し、結果キューにポストバックします。Web サーバー アプリは結果キューを監視し、それらをクライアントにプッシュします。ブロック図はこちら.

このようなアプリを Java EE を使用してどのように実装しますか?つまり、図のサーバーにどのテクノロジを使用しますか? AWS を使用しているのは、調査アルゴリズムに大量の計算が必要になるためです。私は AWS の基本 (たとえば、管理コンソールで実行できるほとんどのこと - インスタンスの起動など) に慣れています。Java を知っており、Java AWS API も理解していますが、サーバー側の経験はほとんどありません。

javascriptから直接AmazonのSQSにメッセージングリクエストを送信することは可能ですか？ロギングシステムを作成しようとしていますが、仲介サーバーへのリクエストの送信をバイパスしたいと考えています。また、私が活用できるこのソリューションの代替案を知っている人はいますか？

アマゾン ウェブ サービスでは、それらのキューにより、最大 15 分の表示遅延でメッセージを投稿できます。メッセージを 6 か月間表示したくない場合はどうすればよいですか?

ポーリング/プッシュの問題に対するエレガントな解決策を考え出そうとしています。数秒ごとに SQS (またはデータベース) をポーリングし、表示する準備ができているメッセージをチェックしてから、それらを「表示キュー」などに移動するコードを記述できます。ポーリング アプリケーションが常に完全に機能していることを心配せずに、メッセージをキューに表示できるようにする、より簡単で信頼性の高い方法があればいいのにと思います。

私は AWS や SQS などと結婚していませんが、安定していて信頼性が高く、ステータスのチェックを心配することなく、はるか先のイベントをトリガーできる、クラウドに適したソリューションを見つけたいと思っています。毎日。

私が吠えることを探求するための考えや代替ツリーは大歓迎です。

ありがとう！