javascript - JavaScriptを使ってサイトマップを作成する方法

Question

ページまたはサイト上のすべてのリンクをたどり、それらのマップまたはリストを作成する JavaScript の作成方法に関するドキュメントを探しています。または、これを行うためのより良い方法があれば、それも素晴らしいでしょう。3000 以上のページがあるサイトのすべてのページの包括的なリストを取得しようとしています。また、この質問にどのタグを付けるのかわからないので、その分野のヒントは冷静になります.

Answer 1

あなたが探しているものは、次のように呼ばれます：

1. ウェブクローリング
2. スクリーンスクレイピング

Google を使用すると、好みのテクノロジで解決策を見つけることができます。

私は個人的にpythonパッケージのscrapyが好きです

更新:たとえば、「javascript スクリーン スクレイピング チュートリアル」を検索すると、次のようになります。