6

pinnaclesports.comのHTMLソースを取得する必要があります。問題は、CookieとJSが有効になっているかどうかを検出し、有効になっていない場合は、次のようなページを返すだけです。

このサイトでは、JavaScriptとCookieを有効にする必要があります。ブラウザの設定を変更するか、ブラウザをアップグレードしてください。

cURLを使用するときにJSサポートをスプーフィングする方法はありますか？

編集：Perl / Rubyモジュールとして実行されるか、PHPで記述されたヘッドレスブラウザを使用できます

4

2 に答える 2

4

他の提案はユーザーエージェントに設定されています。このソリューションは、Google グループのパーサーで機能します。

curl -L -v "https://groups.google.com/d/forum/<GROUP-NAME>" -A "Mozilla/5.0 (compatible;  MSIE 7.01; Windows NT 5.0)"
于 2014-07-30T12:19:22.473 に答える
3

Cookie のない REQUEST を作成すると、JavaScript を使用して Cookie を設定するページが返されることがわかりました。

このような別のcurl呼び出しを行います 

curl https://www.pinnaclesports.com/ --cookie "YPF8827340282Jdskjhfiw_928937459182JAX666=122.167.231.139"

すなわち、2 つの呼び出しを行う必要があります。2) cokie 名を設定した後、2 回目のリクエストを行います。それはあなたの問題を解決します。

または
YQL を使用するだけ

select * from html where url="https://www.pinnaclesports.com/"

カールをここに向ける

于 2012-09-06T18:50:37.423 に答える