0

これは私の最初のスクレイパーですhttps://scraperwiki.com/scrapers/my_first_scraper_1/

なんとか google.com をスクレイピングできましたが、このページはスクレイピングできませんでした。

http://subeta.net/pet_extra.php?act=read&petid=1014561

理由は？

ここからドキュメントに従いました。

https://scraperwiki.com/docs/php/php_intro_tutorial/

そして、コードが機能しない理由はありません。

4

1 に答える 1

0

特定の要素を見つけるように指定しているようです。スクレイピングしているサイトに応じて要素が変わります。したがって、探している要素が見つからない場合は、何も返されません。また、curl を使用して独自のスクレイピング/スパイダリング ツールを作成することも検討します。多くのことを学ぶだけでなく、サイトをスクレイピングする方法についても多くのことを知ることができます。

また、スクレイピング元の Web サイトの robots.txt ファイルを順守するか、無礼と見なされるため、スクレイピングする前に許可を求めることを検討することをお勧めします。

于 2013-03-02T06:15:51.753 に答える