アプリケーションを強化するために、時間のかかるタスクを非同期で実行するように移動し、オフライン処理を行う予定です。頭に浮かんだ最初のアイデアはhadoop
、デーモン スレッドで使用することです。残念ながら、依存しているコンポーネントは Windows でしか動作しません。そこで、キュー技術に注目しました。私rabbitmq
たちにとって潜在的な解決策だと思います。しかし、私たちはこれについて経験がありません。いくつか質問があります:
- ワーカー スレッドを監視するにはどうすればよいでしょうか。
- より多くの交換を作成してパフォーマンスを向上させる方法は?
- ワーカー マシンのアイドリング リソースに基づいて負荷分散する方法は?
- フェイルオーバーを行う方法は?
との並列計算rabbitmq
は良い考えだと思いますか? 並列コンピューティングで rabbitmq を使用した経験がある場合。提案やアイデアを教えてください。回答とコメントをお待ちしております。
注: 私たちのタスクはワーカー マシンを横断しませんでした (map/reduce とは異なります)。つまり、1 つのタスクが 1 つのワーカー マシンにのみディスパッチされます。