私は、scrapinghub サービスの自動スクレイピング機能を使用しています。
オートスクレイパーを構築してデプロイしているときに、スクレイピングしたいサイトがリクエストをまったく返さず、約 3.5 分でタイムアウトすることがわかりました。
それで、なぜこれが起こっているのかを理解できるかどうかを確認するためにドキュメントを読み始めました（サイトが自動スクレイピングに適しているかどうかを確認する方法）。
手順に従い、ブラウザー (chrome) から Javascript を一時的に削除したところ、スクレイピングしたいサイトを問題なく表示できることがわかりました。
私の質問は、あいまいに聞こえるかもしれませんが、Javascript 以外に、サイトがスクレイピングできない他の理由は何でしょうか? このような問題を診断する方法に関する他のアイデアはありますか?