1

ここに私のPHPスクリプトがあります：

<?php

function scrape(){

$f=fopen("list.txt","r") or exit("Unable to open file!");

    while (!feof($f))
{
        $site=stream_get_line($f,4096,"\n");
        $url="www.majesticseo.com/reports/site-explorer/summary/".$site."?IndexDataSource=F";


            $ch = curl_init();
            curl_setopt($ch, CURLOPT_HEADER, 0);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
            curl_setopt($ch, CURLOPT_URL, $url);
            $data = curl_exec($ch);
            curl_close($ch);



        $regex = '~External Backlinks\s*</p>\s*<p style="font-size: 150%;">\s*<b>(.+?)</b>~';

        $result=preg_match($regex,$data,$match);


        $link_count=$match[1];
        echo($site." ".$link_count);
        echo("</br>"); }

}

$ch=curl_init();

curl_setopt($ch, CURLOPT_URL, 'www.majesticseo.com/account/login');

curl_setopt($ch,CURLOPT_POST,1);

curl_setopt($ch, CURLOPT_POSTFIELDS, 'EmailAddress=myemail@email.com&Password=mypassword123');

curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');

curl_setopt($ch,CURLOPT_RETURNTRANSFER, 1);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

$store=curl_exec($ch);

scrape();

curl_close($ch);
?>

問題は、scrape() 関数とログイン部分が別々にテストすると動作することですが、ログイン カール セッション内で Scrape() を実行したい場合、ログインせずにスクレイピングするようです。ログインせずにサイトをスクレイピングするためのサイトに到達しましたが、データは返されません。

なぜこれが起こるのですか？ログイン中にスクリプトでデータをスクレイピングするにはどうすればよいですか?

4

1 に答える 1

0

解決しました！CURL init が 1 つだけになるようにコードを変更しました。実際に 2 つのセッションを開始していたことに気付きませんでした。

于 2013-06-07T09:38:15.377 に答える