0

wget -p $url リストを取得できるように、Webページ上のすべてのファイルを取得するために使用します。しかし、一部の URL では、wget で取得できるのは index.html のみであることがわかりました。wget または cURL で特定の URL にあるファイルのリストを取得する方法はありますか? 要求ヘッダーと応答ヘッダーを確認する必要がありますか?

4

1 に答える 1

2

一部のサーバーでは、ディレクトリ リストを参照できません。そのディレクトリに既定のドキュメントがある場合は、それが引き継がれ、どちらも参照できません。

すべてのパス、ファイル、およびリンクを解析し、HTML で宣言および使用されるファイルのディレクトリ構造を作成するスパイダーを実装する必要があります。その後、それらのファイルをダウンロードできます。

于 2012-06-20T16:01:27.240 に答える