パスワードを持っているパスワードで保護されたサイトをクロールするための PHPCrawl について質問があります。
そのため、認証を必要としない Web サイトで機能するクローラーがあります。端末から実行するクローラー（ubuntu 14.04）。しかし、ユーザー名とパスワードが必要な Web サイトで使用しようとすると、機能しません。試してみPHPCrawl->addBasicAuthenticationましたが、役に立ちませんでした。それから、私は次のアイデアを思いつきました-最初にクロールしたいWebサイトが開かれているタブを開いてログインした後、ブラウザーからクローラーを呼び出します。
しかし、PHPCrawl は認証セッションを認識していないと思います。だから、私の質問は次のとおりです。ログインしていることをPHPCrawlに認識させ、問題なくWebサイトをクロールする方法を知っている人はいますか?