Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
wget -p $url リストを取得できるように、Webページ上のすべてのファイルを取得するために使用します。しかし、一部の URL では、wget で取得できるのは index.html のみであることがわかりました。wget または cURL で特定の URL にあるファイルのリストを取得する方法はありますか? 要求ヘッダーと応答ヘッダーを確認する必要がありますか?
wget -p $url
一部のサーバーでは、ディレクトリ リストを参照できません。そのディレクトリに既定のドキュメントがある場合は、それが引き継がれ、どちらも参照できません。
すべてのパス、ファイル、およびリンクを解析し、HTML で宣言および使用されるファイルのディレクトリ構造を作成するスパイダーを実装する必要があります。その後、それらのファイルをダウンロードできます。