0

URLの配列を入力として受け取る関数があります。URL が正しく、完全にループできることを確認しました。また、curl_getinfo を使用して、curl が正しいページをダウンロードしていることを確認しました。ただし、curl (html) の出力はすべてのページで同じです。これが私のコードです：

          $urls = array();
     $urls = getpages($mainpage);
     print_r($urls);
     foreach($urls as $link) {
         echo $link. '<br><br><br>';
         $circdl = my_curl($link);
         echo $circdl. '<br><br><br>';
         $circdl = NULL;
     }

出力される URL の配列は次のとおりです。

 Array ( [0] => http://www.site.com/savings/viewcircular?promotionId=81498&sneakpeek=&currentPageNumber=1 [1] => http://www.site.com/savings/viewcircular?promotionId=81498&sneakpeek=&currentPageNumber=2

curl_getinfo の curl と同様に、$link も適切に出力します。このループを介して別の URL の配列を実行しましたが、正常に動作しますが、ここでの問題は URL (アンパサンド) の形式にあると思われます。なぜこれらのページが期待どおりにダウンロードされないのか、本当に困惑しています。

my_curl 関数は次のとおりです。

 function my_curl($url)
 {
$timeout=10;
$error_report=TRUE;
$curl = curl_init();
$cookiepath = drupal_get_path('module','mymodule'). '/cookies.txt';

// HEADERS AND OPTIONS APPEAR TO BE A FIREFOX BROWSER REFERRED BY GOOGLE
$header[] = "Accept: text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
$header[] = "Cache-Control: max-age=0";
$header[] = "Connection: keep-alive";
$header[] = "Keep-Alive: 300";
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
$header[] = "Accept-Language: en-us,en;q=0.5";
$header[] = "Pragma: "; // BROWSERS USUALLY LEAVE BLANK

// SET THE CURL OPTIONS - SEE http://php.net/manual/en/function.curl-setopt.php
curl_setopt( $curl, CURLOPT_URL,            $url  );
curl_setopt( $curl, CURLOPT_USERAGENT,      'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'  );
curl_setopt( $curl, CURLOPT_HTTPHEADER,     $header  );
curl_setopt( $curl, CURLOPT_REFERER,        'http://www.google.com'  );
curl_setopt( $curl, CURLOPT_ENCODING,       'gzip,deflate'  );
curl_setopt( $curl, CURLOPT_AUTOREFERER,    TRUE  );
curl_setopt( $curl, CURLOPT_RETURNTRANSFER, TRUE  );
curl_setopt( $curl, CURLOPT_FOLLOWLOCATION, TRUE  );
curl_setopt( $curl, CURLOPT_COOKIEFILE,     $cookiepath );
curl_setopt( $curl, CURLOPT_COOKIEJAR,      $cookiepath );
curl_setopt( $curl, CURLOPT_TIMEOUT,        $timeout  );

// RUN THE CURL REQUEST AND GET THE RESULTS
$htm = curl_exec($curl);

// Check for page request

//$info = curl_getinfo($curl);
//echo 'Took ' . $info['total_time'] . ' seconds to send a request to ' . $info['url'];

// ON FAILURE HANDLE ERROR MESSAGE
if ($htm === FALSE)
{
    if ($error_report)
    {
        $err = curl_errno($curl);
        $inf = curl_getinfo($curl);
        echo "CURL FAIL: $url TIMEOUT=$timeout, CURL_ERRNO=$err";
        var_dump($inf);
    }
    curl_close($curl);
    return FALSE;
}

// ON SUCCESS RETURN XML / HTML STRING
curl_close($curl);
return $htm;

}

非常に興味深いのは、これを実行すると次のようになることです。

 echo my_curl('http://www.site.com/savings/viewcircular?promotionId=81498&sneakpeek=&currentPageNumber=2')

出力は正しいです!!??:(

助けてくれてありがとう！

4

1 に答える 1

0

問題は、関数に渡される URL のエンコーディングにあることがわかりました。誤ってエンコーディングを削除し、「人間が読める」末尾を URL に追加しました。これにより、ページがホストによって正しく認識されませんでした。これをどのように修正したかは、私のより良い判断を無視し、エンコーディングをそのままにしておくことでした. 配列が渡されると、ページが正しく読み込まれます。これを見てくれたすべての人に感謝します。それは本当に私を困惑させました！

説明のための私のコードのスニペットは次のとおりです。

 function getpages($url) {
 global $host;
 $circdl = my_curl($url);
 $circqp = htmlqp($circdl,'body');
 //Extract last page number
 $lastpagenumber = $circqp->branch()->find('li[class="last-page"]')->text();
 $lastpagenumberurl = $circqp->branch()->find('li[class="last-page"]')->children('a')->attr('href');  
 //Extract page link root
 $pagelinkroot = substr_replace($lastpagenumberurl,"",-2);
 $currentpage = "=";               
 $lpn = intval($lastpagenumber);

 //Move through the remaining pages
 $pagelinks = array();
   for ($i = 1; $i <= $lpn; ++$i) {
   $pagelinks[] = join(array($host,$pagelinkroot,$currentpage,$i));
   }
   return $pagelinks;
 }

Substr_replace は、エンコードを削除するために使用されました。これを 20 から 2 に変更して、最後を取り除き、リンクを介してループの後に追加しました。

于 2012-09-13T23:31:29.680 に答える