いくつかのWebサイトにアクセスし、WebサイトのHTMLをXMLに変換し、XMLでいくつかのxqueryコマンドを実行し、最終的に結果をcsvに保存し、それをクラウドファイルストレージ(Amazon S3など)にアップロードするJavaプログラムがあります。
ここで、作業を複数のスレッドに分割して高速化したいと考えていますが、作業に最適なスレッドの数を決定するにはどうすればよいでしょうか?
さまざまなタイプの Amazon EC2 インスタンスに対して、許可する必要があるスレッドの数を決定したいと考えています...これを支援できるライブラリまたはフレームワークはありますか?
または、Amazon EC2 インスタンスでコードを手動で実行し、スレッド数を変更し続け、所要時間を測定する必要がありますか?
具体的には、すべてのスレッドを処理するのにかかる合計時間と、同時に実行できるスレッドの数とのバランスを保ちたいと考えています...そして、CPU/RAM 容量が異なるさまざまなサーバーでこの相関関係を明確に確認できれば、素晴らしい...アドバイス/ガイダンスをいただければ幸いです...