この wget コマンドを使用して Web サイトをダウンロードしています。
wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains website.org \
--wait=10 \
--limit-rate=30K \
www.domain.org/directory/something.html
--wait オプションと --limit-rate オプションを使用して、Web サイトの過負荷を回避したいと考えていました。ダウンロードは順調に進んでいましたが、24 時間後に中断されました。--no-clobber オプションを使えば再開できると思っていたのですが、wget はすでにダウンロードしたファイルを上書きしていないのに、1 つずつ確認してから 10 秒も待機しています。
実際にファイルをダウンロードする必要がある場合にのみ wget を待機させる方法はありますか? これを行う最良の方法は何ですか？
ありがとう。