2

PerlLWPを使用してこのページをクロールしようとしています。

http://livingsocial.com/cities/86/deals/138811-hour-long-photo-session-cd-and-more

以前はリビングソーシャルを処理できるコードがありましたが、機能しなくなったようです。基本的には、ページを1回クロールし、Cookieを取得し、UserAgentにCookieを設定して、さらに2回クロールするという考え方でした。これを行うことで、ウェルカムページを通過できます。

$response = $browser->get($url);
$cookie_jar->extract_cookies($response);  
$browser->cookie_jar($cookie_jar);
$response = $browser->get($url);
$response = $browser->get($url);

これは通常のLivingSocialページでは機能しなくなったようですが、LivinSocialEscapesでは機能しているようです。例えば、：

http://livingsocial.com/escapes/148029-cook-islands-hotel-+-airfare

ウェルカムページを通過するためのヒントはありますか？

4

1 に答える 1

3

このページはJavascript対応のブラウザでのみ機能するようです（そうでLWP::UserAgentはありません）代わりに試すことができWWW::Mechanize::Firefoxます：

use WWW::Mechanize::Firefox;
my $mech = WWW::Mechanize::Firefox->new();
$mech->get($url);

このモジュールを機能させるには、Firefoxとmozrepl拡張機能がインストールされている必要があることに注意してください。

于 2011-10-22T22:18:36.177 に答える