0

次のようないくつかの Web ページをクロールしたい

http://www.youtube.com/user/koglin66/feed?filter=2

しかし、「さらに読み込む」ボタンがあり、それは ajax リクエストに関連しています

http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g

ページ全体をクロールしたい。手動で、ロードするものがなくなるまでボタンを繰り返しクリックしました。自動化により、ページ全体をクロールするにはどうすればよいですか? ありがとう！

4

2 に答える 2

1

はい、Selenium IDE を使用するか、ブラウザ コアで他のプログラム/ライブラリを使用してクリック アクションを実行できます。IEのwebkit、activexと同じ。

また、FMiner http://www.fminer.com/を試すこともできます。ブラウザ上で人間の行動を記録および再生してデータをスクレイピングできますが、無料ではありません。

于 2013-08-06T01:59:03.283 に答える
0

最近、スクラップしたい他のウェブサイトで同じ問題に直面しました。私はJavaを使用しており、Webでいくつかの調査を行った後、Firefox用のSelenium IDEを使用しました。これにより、Webページを自動的に開いてボタンをクリックし、フォームに入力するなどのJava Junitテストケースを作成できます.C＃、Python、Ruby、等

それを使用して [さらに読み込む] ボタンをクリックし、すべてのクリック後にページが完全に読み込まれたときに、手動で保存しました。

Selenium は Web サイトからダウンロードできますが、この YouTube ビデオも役立つことがわかりましたhttp://www.youtube.com/watch?v=twdDfDOrHC4

于 2013-03-17T06:23:01.883 に答える