Selenium RCを使用して、完全な Web サイトのリンク (主に 404 ページにリダイレクトするリンク) を確認するにはどうすればよいですか。以前、xenu と Web リンク検証ツールを使用してこのひもを実行しようとしましたが、ほとんどのリンクが表示されてい500 internal serevr errorます。そして、それらが表示しているページは、500 internal server error実際には Web サイトに存在しません。
では、 Selenium RCを使用して Web サイトをクロールできるとしたら、どのようなコンセプトになりますか?