指定されたWebサイトをクロールし、別のWebサイトへの参照がある場合に吐き出すプログラムはありますか？画像、ビデオファイル、PDFなどがあります。新しいサーバーへの移植を完了するために、別の開発者に渡す必要があります。
古いサイトを別の人に転送したところ、彼らはまだ私のファイルを使用しています。すべてのファイルが100％であるかどうかはわかりませんが、どのファイルをファイルに渡す必要があるかを確認したいと思います。クロールできるlinkcheckerのようなものがあればいいのですが、ウェブサイトのルート（sub.domain.comなど）への参照がある場合は、それに関する情報（どのページ、URLは何ですか）を吐き出します。
この時点でサイトがファイルを使用するのをブロックしたくないので、それは終了です。
私はMacを使用しているので、どのターミナルプログラムでも問題ありません。
サイトで使用されているすべてのファイル (および設定に応じてリンク先のファイル) をダウンロードするために使用できるSitesuckerを試すことができます。これは OSX (および iPhone) のドネーション ウェアなので、まさにあなたが探しているものかもしれません。ダウンロードしたファイルのログ ファイルが作成されるので、実際のファイルの代わりに URL を同僚に送信したい場合は、ログ ファイルを送信できると思います。
チェックアウトできwgetます。再帰的に (-rオプションで) Web サイトをダウンロードし、そのコンテンツをハードディスクに保存できます。通常 (特に指定されていない場合)、ホストのような名前のディレクトリにすべてをダウンロードします。
ただし、インターネット全体を再帰的にダウンロードしないように注意してください ;) したがって、正しい--domainsor--exclude-domainsオプションを必ず指定してください。