1

HTTP プロキシのコンパイル済みリストをテストして、指定された Web サイトに接続できるかどうかを確認するスクリプトがあります。それらが接続し、正しいページ結果が返された場合、それらは動作中のプロキシのリストに追加されます。ただし、一度に約 30,000 のプロキシをテストしても....どれも機能しません。

それでも、プロキシ チェッカーでそれらのランダムな選択をチェックすると、それらのかなりの部分が正常に動作するようになります。

http://puu.sh/3EJDo.png (接続結果の画像)

プロキシ タイプを HTTP に指定しても、cURL は Web ページへの接続を確立して Web ページのコンテンツを返すことはありません。

注: ユーザーエージェントを設定しています。

ご覧のとおり、結果は返されません。Web ページのコンテンツが取得された場合は、テキスト ボックスに投稿する必要があります。

http://puu.sh/3EK4z.png

これが本当に役立つとは思いませんが、ここに私のcURLリクエストの設定があります:

foreach($proxies as $proxy){
        $proxy_split = explode(':',$proxy);

        if(!in_array($proxy_split[1], $this->banned_ports)){
            $checked[] = $proxy;

            $this->curl->addSession('http://www.removed.com', array(
                CURLOPT_PROXY => $proxy,
                CURLOPT_PROXYTYPE => CURLPROXY_HTTP,
                CURLOPT_TIMEOUT => 60,
                CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',  
                CURLOPT_RETURNTRANSFER => true
             ));
        }
    }

再確認するために CURLOPT_FOLLOWLOCATION オプションを追加しましたが、ページのコンテンツを返すことも接続を確立することもできません。

4

0 に答える 0