php - PHPを使ったスクリーンスクレイピングテクニック

Question

特定の Web サイトをスクリーンスクレイピングする方法。Web サイトにログインして、内部情報をスクレイピングする必要があります。これはどのように行うことができますか？

私を案内してください。

score 1 · Accepted Answer

1

Zend_Http_Client and Zend_Dom_Query

于 2009-02-06T12:43:38.507 に答える

score 0 · Accepted Answer

0

http://php.net/domをチェックすることもできます

于 2009-02-06T12:50:54.780 に答える

score 0 · Accepted Answer

カールし、一度入ったら、QueryPathphpライブラリを使用します。（querypath.org）JQueryと同じように、CSSセレクターを介してdom要素にアクセスできます。メソッドチェーンがあります...

phpのネイティブxml関数を使用するよりもはるかに優れています。

これはdrupal拡張機能としても機能しますが、どのphpプロジェクトにも実装できると思います。

score 0 · Accepted Answer

あなたはcurl関数を見たいと思っています - それらはあなたが別のウェブサイトからページを取得できるようにします. ログインしているサイトに応じて、Cookie または HTTP 認証を使用して、最初にログインしてから目的のページを取得できます。

ページを取得したら、正規表現を使用して必要なデータを取得することをお勧めします。

score 0 · Accepted Answer

0

curl を見る必要があります。

于 2009-02-06T11:17:38.773 に答える

score 0 · Accepted Answer

また、悪い HTML を解析可能にするのに非常に優れていると思われる Python ライブラリであるBeautifulSoupもご覧になることをお勧めします。画面のスクレイピングなどを目的としています。

PHPから呼び出すのがどれほど簡単かはわかりません。

6 に答える 6