1

多くの例を目にしますが、時折 (100 件中 2 件のように) これは機能しますが、ほとんどの場合は機能しません。その理由がわかりません。どんなアイデアでも大歓迎です!

私はプロキシの利用に慣れていません.エラーを返さず、空のページを返すように見えるが、さらにテストする方法がわからない有効なプロキシをデータが通過していないのではないかと思います.

スペックはcentOS 7、selenium 3.6.0、phantomjs 2.1.1

import os, requests
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

os.environ["PATH"] += os.pathsep + '/path/to/executable'

dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = ( "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36" )

url = 'https://httpbin.org/ip'
proxy = 'xxx.xxx.xxx.xxx:xxxx'

# requests indicates that the proxy is valid 99% of the time
response = requests.get(url, proxies={"http": proxy, "https": proxy})
print response.json()

service_args = [
    '--ignore-ssl-errors=true',
    '--proxy=' + proxy,
    '--proxy-type=http',
    '--ssl-protocol=any'
]

# 98% of the time this outputs u'<html><head></head><body></body></html>'
browser = webdriver.PhantomJS(desired_capabilities=dcap, service_args=service_args)
browser.get(url)
print browser.page_source
4

0 に答える 0