XHTML データを抽出して PHP の変数として保存するために、Web サイトをスクレイピングしようとしています。
Web サイトでは AJAX を使用しています。つまり、探しているデータは、次のような検索文字列を使用して XMLHttpRequest に続いて返されます。http://website.com/ajax.php?mid=2&pid=4
Chrome と Firefox (わずかに異なる) の両方から取得したリクエスト ヘッダーを設定してみcurl_setop()ましstream_context_create()たfile_get_contents()。Chrome でスクリプトのリクエスト ヘッダーを確認するとGET、これが に設定されているにもかかわらず、メソッドが表示されPOSTます。これは、cURL コンテキストとストリーム コンテキストの両方に対して行われます。
Web サイトはログインを必要としませんが、リクエストの一部としてセッション Cookie を送信していることに気付きました。これも HTTP リクエストに含めましたが、役に立ちませんでした。
もう 1 つの注意点はContent-Length、リクエスト ヘッダーから値を削除するとすぐに空白のページが返されるのに対し、値をそのままにしておくとタイムアウトになるまで約 1 分間読み込みが続くことですが、これは無関係かもしれません。
私の質問は、HTTP ヘッダーを使用して PHP および AJAX リクエストを使用した経験のある人はいますGETかPOST?
洞察をお寄せいただきありがとうございます。