4

正常にダウンロードされたURLのみをログに記録したいと思います。-o log.txtを試してみましたが、ヘッダー、IPなどのすべてがログに記録されます...

私はただのような単純なリストが欲しい

http://example/
http://example/toto.html
http://example/sub/tata.html

どうすればこれを行うことができますか？

私のwget：

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt
4

1 に答える 1

0

次のようなものを試すことができます：

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|\1|; print "$1\n"'

-vの代わりに-nv (詳細なし)を使用していることに注意してください。また、出力を stderr から stdout にリダイレクトしたので、Perl によってパイプで処理できました。壊れたリンクは wget 出力の形式が異なるため、正常にダウンロードされたもののみが取得されます (これは要求したものです)。

于 2012-06-16T21:00:02.360 に答える