問題タブ [link-checking]

これで、Hudson CI ビルド プロセスを使用して grails アプリをセットアップできました。単体テスト、統合テストを実行しており、いくつかの機能テストのために Selenium をセットアップしようとしています。

ただし、サイトのリンクを完全にテストして、リリースで何も壊れていないことを確認する良い方法はありますか?

一般的にリンクチェッカーがあることは知っていますが、それをビルドプロセスの一部にしたいので、何かが正しくない場合、ビルドは完全に失敗します。

同様の質問が寄せられていることは知っていますが、その答えについてはよくわかりません (そして、すべての質問を簡単にテストすることはできません)。そのため、夢中になって検索を続ける前に、次の質問をしたいと思います。簡単な方法はありますか? Web サイトのすべてのページをクロールし、破損した無効なリンクを自動的にチェックしますか? 私は非常に制限されているため、インストールやコンパイルを必要としないソリューションが望ましいです。ありがとう。

URL が存在し、応答が 404 でないことを確認する最良の方法は何ですか?

指定されたWebサイトをクロールし、別のWebサイトへの参照がある場合に吐き出すプログラムはありますか？画像、ビデオファイル、PDFなどがあります。新しいサーバーへの移植を完了するために、別の開発者に渡す必要があります。

古いサイトを別の人に転送したところ、彼らはまだ私のファイルを使用しています。すべてのファイルが100％であるかどうかはわかりませんが、どのファイルをファイルに渡す必要があるかを確認したいと思います。クロールできるlinkcheckerのようなものがあればいいのですが、ウェブサイトのルート（sub.domain.comなど）への参照がある場合は、それに関する情報（どのページ、URLは何ですか）を吐き出します。

この時点でサイトがファイルを使用するのをブロックしたくないので、それは終了です。

私はMacを使用しているので、どのターミナルプログラムでも問題ありません。

linkchecker で check-html フラグを使用しようとしています。tidy モジュールがインストールされていないというエラーが表示されます。コマンド ラインで tidy と言うと、それを使用できます。私はMacPortsをインストールしており、Pythonに関係するlibtidyまたはtidyのほぼすべてのオプションをインストールしました。$PATHの問題か何かに関係していると思います。

したがって、python26 を使用していて、python に移動して import tidy と言うと、エラーは発生せず、すべて問題ありません。python27 を使用すると、import tidy と言うとエラーが発生します。py26-utidylib py26-pytidylib をインストールしたためだと思います。py27はありませんでした。私はpython26にいることを気にしません。したがって、python26 を使用している場合は、きちんと実行できるはずです。

しかし、linkchecker を実行すると、tidy モジュールがインストールされていないと表示されます。どの python かを言うと、私の場所は /opt/local/bin/python です。$PATH や $PYTHONPATH などをエクスポートする必要がありますか?

ゲストはウェブサイトを持っていますAはパートナープログラムを持っています。
パートナーサイトBにはAへのリンクがあります。
すべてのパートナーサイト（5000サイト）のすべてのWebページを特定の頻度（1日2回）で確認し、BからAへのすべてのリンクを抽出する必要があります。次に、URLが特定の方法で作成されているかどうかを正規表現で確認する必要があります。

PHPでこれを簡単に行うことができますが、サードパーティのソリューションがすでに直面している深刻な問題がいくつかあります。

• 帯域幅の使用法を活用したい
• タスクを可能な限り最速で実行したい
• チェックするWebページは、エラーや一貫性のないhtmlでいっぱいのアマチュアWebページである可能性があります
• 前回チェックしてから変更されたウェブページのみを管理したい
• プロセスは自動化する必要があります（cron？または代替？）
• ..。
• （このリストを自由に拡張してください）

しかし、私は超大型のメガ超洗練されたツールを構築したくありません...
私はまだ小さくて軽量の賢いソリューションが欲しいです。

このようなタスクをどのように解決しますか？

私は、Oron、filespost、depositfiles などのファイル共有 URL をリストするプロジェクトに取り組んでおり、著作権で保護された素材の共有を、私のネットワーク内の識別されたコンテンツ所有者および権利所有者に報告します。

現在、PHP に組み込まれているいくつかのフィルターを備えた MySQL データベースからデータが取り込まれたテーブルにあるサービスを改善するために、機能しなくなったリンクを識別できるようにしたいと考えています。

私の考えでは、データが MySQL データベースから取得されると、ダウンロード URL 列のエントリ (ファイルまたはファイル ホスト ページへの URL) がチェックされ、ユーザーがダウンロードを開始できる実際のファイル共有ページにリンクしているかどうかが確認されます。それらが機能しており、ファイルをダウンロードする機能を提供している場合は、そのままにしておく必要があります。リンク テキストまたはセルの色は緑色に変わります。ファイル サイトにファイルが見つからないか類似のファイルが表示されている場合、リンク テキストまたはセルの背景色は赤色に変わります。

現在、アクティブまたは非アクティブなリンクをすばやく簡単に視覚的に表現する方法はありません。

404エラーが受信されたかどうかに基づいてURLを簡単に検証しましたが、これらのサイトが404またはリダイレクトを行わないことを考えると、それが機能しないことにすぐに気付きました。動的に生成されたページを変更して、ファイルが利用できないか、またはファイルが削除されたなど。

サードパーティのファイル共有リンク チェック サービスを使用するリンク チェック スクリプトも組み込みましたが、これには手動チェックとデータベースの手動更新が必要です。

また、ページに特定のフィールドや単語を見つけることができるかどうかも確認しましたが、サイトの範囲とサイトで使用されているより広い範囲の用語を考えると、これが正確であり、すべてのリンクに実装するのが難しいことが証明されています. .

また、アクティブなステータスに基づいて URL をフィルタリングできると便利です。色の変更がリンク クラスまたはセル クラス スタイルによって管理されている場合、リンク デッドまたはリンク アクティブなどのクラスに基づいて列をフィルター処理できると思います。私はこれを行うことができると思うので、クラスに基づくフィルタリングに関するこの最後のビットの助けは必ずしも必要ではありません.

どんな助けでも大歓迎です。

現在、古い Windows 2003/Coldfusion 8 サーバーから Windows 2008/Coldfusion 9 サーバーにアップグレードする新しいサーバーをセットアップしています。

単純な移行ではありません。IIS と Coldfusion の両方の新しい機能や変更された機能により、コードとセットアップを少し変更する必要がありました。

移行前後のサイトを比較するために使用できる何らかのプログラム、またはクラウドベースのサービスがあるかどうか疑問に思っていました。単純なリンク チェックで十分だと思いますが、完全に徹底するために、ページのコンテンツもチェックするソリューションがあるかどうか疑問に思っていました。(これは私たちの上司からのアイデアであり、サイトの規模を考えると、これが実行可能なタスクであるとは思えません。したがって、リンクをチェックして応答ステータスを比較できれば幸いです。)

目標は、移行前は「foo.cfm」が問題なかったのに、移行後に 500 件のサーバー エラーがスローされた場合であり、何かを調べる必要があることがわかります。

リンクチェッカーが一般的であることは知っていますが、この種の機能をサポートするものがあるかどうかは知りませんでした (ある実行結果を別の実行結果と比較するため)。また、Google 検索でこれを正確に表現する方法も思いつかなかったので、ここ StackOverflow の偉大な頭脳に聞いてみることにしました。

助けてくれてありがとう！

Selenium RCを使用して、完全な Web サイトのリンク (主に 404 ページにリダイレクトするリンク) を確認するにはどうすればよいですか。以前、xenu と Web リンク検証ツールを使用してこのひもを実行しようとしましたが、ほとんどのリンクが表示されてい500 internal serevr errorます。そして、それらが表示しているページは、500 internal server error実際には Web サイトに存在しません。

では、 Selenium RCを使用して Web サイトをクロールできるとしたら、どのようなコンセプトになりますか?

私はウェブサイトのための壊れたリンクチェッカーツールを構築することを計画しています。ツールの作成に使用する必要のあるツールを教えてください。JavaScript、ExtJS、jQuery、PHPの経験があります。どんな助け/提案も大歓迎です。