API を使用してサイトのフル クロールを行っていますが、多くの情報が得られます。
{ "errorType": "ServerErrorException", "error": "ServerErrorException: サーバー エラーです。(HTTP 500)" }
また、タイムアウト応答が返され、実際の http が失敗します。StatusCode: 504, ReasonPhrase: 'GATEWAY_TIMEOUT'
同時にクロールしているサイトをブラウジングしていますが、それでも高速で応答性が高く、速度が低下することはありません。
コードからマルチスレッドを削除し、同期的に実行すると 500 エラーが停止しますが、それでも多くのタイムアウトが発生します (そして時間がかかります)。
マルチスレッドで実行している同時接続数は 100 未満です。それは多すぎますか？1000以上まで上げたいです。リクエスト間に遅延を追加する必要がありますか?