method = new GetMethod(strUrl);
log.info("Befor execueteMechod");
statusCode = client.executeMethod(method);
log.info("After execueteMechod");
このJavaコードを記述して、Webページをクロールします。これは、サーバーで実行されます。数日後、今日、クロールスレッドがブロックされていることに失望しました。ログから、 executeMethodメソッドでブロックされたと言えます。誰かがこの問題に対処する方法を教えてもらえますか？
また、504または503の警告が2回報告されました。3回目にこのページを開くと、問題が発生し、スレッドがブロックされました。これは望ましくありません。