php - PHP Web ベースのスクレーパー

Question

私がやろうとしているのは、PHP を使用して、パラメーターに入力した URL の Web サイトをスクレイピングすることです。

生のソースコード全体が欲しい..しかし、それだけではありません..

次に、それを html ページに保存し、php スクリプトのローカルサーバーに保存します。

これには簡単なスニペットがありますか? または、誰かが簡単にコードを書くことができますか?

例えば

http://google.comをスクレイピングしたい

たとえば、mysite.com/scrape.php?url=http://google.com

score 2 · Accepted Answer

指定された URL の内容をという名前のファイルに保存するスクリプトを次に示しますscraped.html。

if (isset($_GET['url'])):
   $contents = file_get_contents($_GET['url']);
   file_put_contents('scraped.html', $contents);
endif;

への呼び出しで URL を使用するには、ファイルで有効にfile_get_contents()する必要があります。allow_url_fopenphp.ini

もちろん、これは要求された URL の実際のソースのみを保存し、画像、スクリプト、スタイルシートなどの他のリソースは保存しません。

1 に答える 1