1

Web サイトのすべてのページ URL を取得できる無料のソリューション/ツール/ソフトウェアを探しています。サイトには約 992,000 ページあるため、Excel シートにすべての URL が必要です。

「site: mywebsite.com」を使用していますが、992,000 件の結果が得られます。ページあたりの最大結果を 100 にできることはわかっていますが、それでも私の生活が楽になるわけではありません。また、Google は 1000 を超える結果を表示しません。Google APIを使用しようとしましたが、うまくいきませんでした。Sitemap Generatorsを試しましたが、どちらも機能しませんでした。

4

2 に答える 2

1

クローラー ツールを使用して Web サイト全体をクロールし、アクセスした URL を保存できます。無料のツールには次のものがあります。

于 2014-05-02T19:50:56.650 に答える
0

Google は検索クエリの結果を 1000 に制限しています。ツールが実際にこれを回避できる唯一の方法は、キーワードのサブセット (サイト: abc.com + ランダムな単語) を実行することです。ランダムな単語はより少ない結果を返し、これらのクエリが十分にスクレイピングされてリストに結合されると、重複を削除して、元の目的の検索用語のほぼ完全または完全なリストを取得できます。

于 2014-04-26T00:20:43.200 に答える