URLのリストがあり、他の場所にリダイレクトされるかどうか、リダイレクトされる場合は最終的な場所を確認したいと思います。これは、これらのURLにHEADリクエストを送信することで実行しています。
このリストには、 robots.txtでボット(一般的にはすべてのボット)を許可しない特定のホストへのリンクが含まれています。
私の質問は、礼儀正しくするために-
HEADリクエストについてもrobots.txtをフォローし、これらのホストのリクエストを停止する必要がありますか?
robots.txtにクロールの遅延が記載されている場合、これらのHEADリクエストに対してそれに従う必要がありますか?
- この仕事をして、入力URLのバッチの最終的なURLを返すことができるWebサービスはありますか?