私のクローラーの簡単なコードは次のとおりです。
#!/usr/bin/perl -w
use WWW::Scripter;
$w = new WWW::Scripter('agent' => 'myAgent');
$w->use_plugin('JavaScript');
### need to set a referrer header here ###
$w->get('http://website-url');
print $w->content, "\n";
を実行する前にリファラーヘッダーを設定する必要がありget
ます。または、 cookieなどの他のヘッダーも設定する必要があります。ドキュメントにはその方法がありません。ヘッダーを設定する方法が必要です。どのように?