wgetを使用して特定のTLDからファイルを再帰的にダウンロードすることは可能ですか?
具体的には、マサチューセッツ州規則の全文をダウンロードしようとしています。規制の実際のテキストは、複数のドメインにまたがる複数のファイルに保存されているため、インデックスページから再帰的なダウンロードを開始したいのですが、.govドメインと.usドメインへのリンクのみをたどってください。
wgetを使用して特定のTLDからファイルを再帰的にダウンロードすることは可能ですか?
具体的には、マサチューセッツ州規則の全文をダウンロードしようとしています。規制の実際のテキストは、複数のドメインにまたがる複数のファイルに保存されているため、インデックスページから再帰的なダウンロードを開始したいのですが、.govドメインと.usドメインへのリンクのみをたどってください。
スパニングホストに関するwgetのドキュメントの助けを借りて、-Hフラグと-Dフラグを使用してこれを機能させることができました。
wget -r -l5 -H -D.us,.gov http://www.lawlib.state.ma.us/source/mass/cmr/index.html