Google からいくつかのページをスクレイピングすると、ページの 1 つから次のように返されます。
File : C:\xampp\htdocs\PPC-Advert-System\Scrapper\ScrapperDBCRUD.php
Line: 29
SSL certificate problem, verify that the CA cert is OK. Details:\nerror:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed
これは私のカールコードです:
private function getPage($proxy, $url, $referer, $agent, $header, $timeout) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
//curl_setopt($ch, CURLOPT_HEADER, $header);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
// curl_setopt($ch, CURLOPT_REFERER, $referer);
// curl_setopt($ch, CURLOPT_USERAGENT, $agent);
$result['EXE'] = curl_exec($ch);
$result['INF'] = curl_getinfo($ch);
$result['ERR'] = curl_error($ch);
if(curl_exec($ch) === false)
{
$result['ERR']=curl_error($ch);
}
curl_close($ch);
return $result;
}
カールに何を追加すればよいかわからないので、スクレイピングしようとしているページで何らかの形で検証します。また、私がスクレイピングする通常のページのスクレイピングに影響するかどうかはわかりません..問題に対処する最善の方法は何ですか?!?
また、時々このエラーが発生します:
error:140770FC:SSL routines:SSL23_GET_SERVER_HELLO:unknown protocol
これらのエラーは両方とも関連していますか?