PHPを使用して内部アプリケーション用のWebスクレイパーを作成していますが、ページの1つにJavaScriptログインがあり、通常どおりデータをスクレイピングするために自律的にログインする方法はありますか?
(私はcurlを使用して他の2つのサイトにログインしています)
PHPを使用して内部アプリケーション用のWebスクレイパーを作成していますが、ページの1つにJavaScriptログインがあり、通常どおりデータをスクレイピングするために自律的にログインする方法はありますか?
(私はcurlを使用して他の2つのサイトにログインしています)
Firebug を使用して、ブラウザーがサーバーに送信する内容を確認します。その後、curl で同じリクエストを行うことができます。
JavaScript ログイン インターフェイスを実装するには、さまざまな方法があります。あなたの質問は、明確に答えるのに十分な情報を提供していません。
ほとんどの JavaScript ログイン インターフェイスは、AJAX 経由でログインするだけです。したがって、これはログイン情報を含む単なる非同期 POST リクエストです。これは、適切なヘッダーを使用して偽装できます。HTTPS リクエストを監視できるブラウザ プラグインをインストールすると、送信するヘッダーやその他のフォーム データを確認できます。