1

(別のドメインの)外部Webサイトからデータを取得する必要があります。ユーザーが要素を操作(クリック)しない限り、またはCookieが設定されている場合を除いて、取得しようとしているデータの大部分は表示されません。

PHPでcurlを使おうとしていましたが、他のオプションも利用できます。リクエスト中にJavaScriptを処理できるプログラムによるGETリクエストを作成することは可能ですか?

この質問への投稿によると、curlはCookieを渡すことができますが、jsで戻りデータを処理しないため、結果の動作は返送されません。

curlを介してCookieを設定する

他の提案は大歓迎です。

4

1 に答える 1

0

私の知る限り、公開されているWebページからjs処理後のHTML出力を取得できるフレームワークを使用してデータをスクレイピングすることはあまり使用されていないため、進行状況は見捨てられています。簡単に検索できるフレームワークを見つけたら、この投稿を更新します。

于 2013-03-29T18:23:51.220 に答える