2

PHP または Ruby で使用できる Web クローラー ライブラリはありますか? 深さ優先または幅優先で実行でき、href="../relative_path.html" とベース URL が使用されている場合でもリンクを処理できるライブラリ。

4

5 に答える 5

5

http://phpcrawl.cuab.de/

于 2009-05-13T03:09:34.630 に答える
3

Ruby ライブラリについては、このページを参照してください: Ruby Mechanize

クローラーがサイトをトラバースする方法については、引き続きお客様の責任となることをお伝えしたいと思います。

于 2009-05-13T03:08:58.140 に答える
0

基本的な Web クローラーと検索のことを学びたい場合は、「luna エンジン」を参照してください。

于 2014-04-15T07:32:09.640 に答える
0

機械化するよりもはるかに簡単に、Ruby で webrat や watir を使用できます。

于 2009-05-24T05:18:03.423 に答える
0

JavaScript を使用する Web ページをスクレイピングする必要がある場合は、ポルターガイストなどの実際のブラウザーを起動するドライバーでCapybaraを使用できます。通常、受け入れテストのテスト フレームワークで使用されますが、テスト フレームワークの外でも使用できます。

于 2014-04-15T13:41:17.983 に答える