linux - wgetログのみsuccefullダウンロードされたURL

Question

正常にダウンロードされたURLのみをログに記録したいと思います。-o log.txtを試してみましたが、ヘッダー、IPなどのすべてがログに記録されます...

私はただのような単純なリストが欲しい

http://example/
http://example/toto.html
http://example/sub/tata.html

どうすればこれを行うことができますか？

私のwget：

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt

Answer 1

次のようなものを試すことができます：

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|\1|; print "$1\n"'

-vの代わりに-nv (詳細なし)を使用していることに注意してください。また、出力を stderr から stdout にリダイレクトしたので、Perl によってパイプで処理できました。壊れたリンクは wget 出力の形式が異なるため、正常にダウンロードされたもののみが取得されます (これは要求したものです)。