1

setup Privoxy を使用して Tor にアクセスするようにスパイダーを構成しましたが、これは、構成する設定が 127.0.0.1: ポートを指しているため、localhost で使用する場合にのみ機能します。しかし、Scapinghub にデプロイすると、サーバー側は私が行うように tor と privoxy をセットアップしません。スパイダーがネットワークとポートを介してマシンを通過できるようにするために使用できるソリューションはありますか?

私が知っているように、同じネットワーク上にある場合は、内部 IP を使用できます。パブリック IP を 127.0.0.1 に置き換えることはできますが、ネットワークがどのマシンにどのように転送されるのか疑問に思っています。

以下は、tor にアクセスするための構成です。

ミドルウェア.py

class ProxyMiddleware(object):
    @classmethod
    def process_request(self, request, spider):
        request.meta['proxy'] = "http://127.0.0.1:8118"

設定.py

DOWNLOADER_MIDDLEWARES = {
    'tutorial.middlewares.ProxyMiddleware': 1
}
4

1 に答える 1

0

tor がセットアップされたカスタム Docker イメージをデプロイできます。そして、127.0.0.1 を指します。 https://shub.readthedocs.io/en/stable/deploy-custom-image.html#deploy-custom-image

于 2018-03-23T14:56:26.513 に答える