入力データとしてデータベースに数億行あります。10000 行の処理ごとに約 15 分かかりました。これは、外部 API 要求が関係しているためです。
これをデータ スポットに分割し、100 の Amazon AWS EC2 インスタンスで処理します。EC2 インスタンスで起動されたすべてのプロセスも、出力をデータベースに保存します。
クラウド サービスを使用して、このマルチエージェント タスクをマップ リデュース クラスターとして整理することは可能ですか?
入力データとしてデータベースに数億行あります。10000 行の処理ごとに約 15 分かかりました。これは、外部 API 要求が関係しているためです。
これをデータ スポットに分割し、100 の Amazon AWS EC2 インスタンスで処理します。EC2 インスタンスで起動されたすべてのプロセスも、出力をデータベースに保存します。
クラウド サービスを使用して、このマルチエージェント タスクをマップ リデュース クラスターとして整理することは可能ですか?