問題タブ [privoxy]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
scrapy - Privoxy/Tor を使用したスプラッシュが機能しない (ローカルホストの競合?)
Splash は Privoxy/Tor では動作しません。それでも
- Privoxy/Tor はブラウザで動作します。
- Splash は通常のプロキシで動作します。
yield SplashRequest(url, self.parse_func, args={'wait': 2.5, 'proxy': 'http://a_proxy_address:port', })
. - Splash のない Scrapy は Privoxy 経由で動作します。
yield scrapy.Request(url, callback=self.parse_func, meta={'proxy': 'http://127.0.0.1:8118'})
)。
スクリプト Splash でエラー 502 を返します。
ブラウザで Splash page を開こうとすると、エラー ページが表示さlocalhost:8050
れます。
Privoxy was unable to socks5t-forward your request http://localhost:8050/ through localhost: SOCKS5 request failed
/etc/privoxy/config:
次の行にも追加しようとしまし/etc/privoxy/config
たが、役に立ちませんでした。
ip - Scapinghub にデプロイした後、Scrapy が Tor にアクセスできるようにする方法
setup Privoxy を使用して Tor にアクセスするようにスパイダーを構成しましたが、これは、構成する設定が 127.0.0.1: ポートを指しているため、localhost で使用する場合にのみ機能します。しかし、Scapinghub にデプロイすると、サーバー側は私が行うように tor と privoxy をセットアップしません。スパイダーがネットワークとポートを介してマシンを通過できるようにするために使用できるソリューションはありますか?
私が知っているように、同じネットワーク上にある場合は、内部 IP を使用できます。パブリック IP を 127.0.0.1 に置き換えることはできますが、ネットワークがどのマシンにどのように転送されるのか疑問に思っています。
以下は、tor にアクセスするための構成です。
ミドルウェア.py
設定.py
sockets - 進行中の接続であっても、privoxy でソケットタイムアウトを強制するにはどうすればよいですか?
一定の時間が経過したら、進行中の接続を切断したいと思います。
ここでprivoxy 構成オプションを確認したところ、 「socket-timeout」が見つかりました。
7.6.8. ソケットタイムアウト
以下を指定します。
データが受信されない場合にソケットがタイムアウトになるまでの秒数。
ソケットのトラフィック/接続が進行中の場合でも、ソケットがタイムアウトすることを許可する特定の構成 (または paction ファイル ルール) はありますか?
具体的には、このタイムアウトに達すると、接続が「ドロップ」するか、エラーが発生する必要があります。