問題タブ [tor]

データ分析のためにWebサイトを自動的にクロールするRubyスクリプトを書いていますが、今ではかなり複雑な要件があります。さまざまな国、約20か国からのアクセスをシミュレートできる必要があります。Webサイトには、IPの場所に応じて異なる情報が含まれるため、それを実行する唯一の方法は、実際にその国にあるサーバーから情報を要求することです。

20か国のそれぞれでサーバーを購入したくないので、Torを試してみることにしました。多くの人が知っているように、torrc構成ファイルを編集することで、出口ノード、つまり国を指定できます。実際のリクエストが発生します。

これを手動で行う場合、たとえば、アルゼンチンのサーバーを使用するようにtorrcファイルを編集し、Vidaliaを使用してTorを切断し、Vidaliaを再接続してから、リクエストを再実行すると、正常に機能します。ただし、このプロセスを完全に自動化し、可能な限り効率的に実行したいと考えています。TorはCで書かれているので、このためにソースコード全体を分解することは避けたいと思います。Rubyだけを使用してプロセス全体を自動化する最も簡単な方法は何ですか？

また、私が何かを見逃していて、この試練全体に代わるより簡単な方法がある場合は、私に知らせてください。

ありがとう！

これも私の他のカール スクリプトも正しく動作しません。最近実装しようとしましたが、現在 Tor を使用するように設定されているものはありません。CLI curl プログラムも Tor に接続しようとします。システムからパッケージを消去し、再インストールしましたが、それでも同じです。何か案は？

tor 経由で python で Web サイトにアクセスしようとしていますが、問題が発生しています。私はこのスレッドとそのスレッドで参照されているスレッドから試みを開始しました: How to make urllib2 requests through Tor in Python?

最初に、元のコード スニペットを試しました。

次に、回答の1つに投稿された変更されたコードを試しましたが、人々はそれがうまくいったと言っていました。残念ながら、コードはページをダウンロードするという点で機能しますが、IP アドレスが同じであるため機能しません。

Ubuntu および TOR サイトのそれぞれのドキュメントに従って、標準構成で TOR をセットアップしました。nmap は、ポート 9050 で実行されている TOR tcp プロキシを示しています。9050/tcp open tor-socksただし、上記のスクリプトのいずれかを実行しても、IP アドレスは変更されません。Python は http 環境変数を尊重していませんか、それとも私が見逃しているコードの問題がありますか?

Vidaliaをインストールし、プロキシにポート8118を使用するようにChromeを設定し、https：//check.torproject.org/で接続を確認しましたが、コマンドラインツールcURLでこれを機能させるのに問題があります。これは私が試していることです：

解決済み：

Torを使おうとしていますが、privoxyなどのクライアントを実行する代わりに、c＃プログラムで実行したいと思います（privoxy GUIはありません）。Torは現在SOCKSのみをサポートしているため、このSOCKS TORサーバーに（直接またはhttpプロキシ経由で）Httpリクエストを送信する方法が必要です。

私のプログラムコード---WebProxy（Http 127.0.0.1:2000）---> Tor（SOCKS 127.0.0.1:5000）->WebSiteと戻る

starksoft、componentspaceなどのライブラリを調べましたが、これらはすべて、これらのプロトコルの開発中のクライアントのみを提供します。

したがって、http（今のところhttpsなし）リクエストを送信し、（webclientまたはhttpwebrequestなどのクラスを使用して）応答を受信するときに、一種のトンネル/ブリッジを作成するにはどうすればよいですか。

説明が明確であることを願っています。

ツールを作成していて、Tor ネットワークを使用したいと考えています。

私は PHP とその cURL 拡張の両方に精通していますが、Tor をプロキシとして使用することはできないようです。サーバーから応答がありません。

何が問題なのか、私にはまったくわかりません。私の cURL 設定は間違っていますか?

すべての外部リレーが機能するわけではありませんが、ローカル リレーは機能します。

OS: OSX、ただし Windows でもテスト済み

PHP: 5.3.5

cURL: 7.21.3

ボットを停止するのに十分なほど洗練された Web サイトをクロールしようとしています。つまり、Scrapy がハングした後、少数のリクエストしか許可されていません。

質問 1: Scrapy がハングした場合、同じポイントからクロール プロセスを再開する方法はありますか? この問題を取り除くために、設定ファイルを次のように書きました

これは私のプログラムです：

問題は、どこで http プロキシを記述できるかであり、tor 関連のクラスをインポートする必要があります。このグループのおかげで、私は Scrapy を初めて使用します。今、「ip ローテーションまたは tor の使用方法」を学ぼうとしています。

私たちのメンバーの一人が提案したように、私は tor を開始し、HTTP_PROXY を

しかし、それはいくつかのエラーを投げています、

だから私は http_proxy をに変更しました

今、エラーは

Firefox のネットワーク設定を確認したところ、http プロキシが表示されませんでしたが、その代わりに SOCKSV5 を使用していて、127.0.0.1:9051 が表示されています。（TORの前はプロキシなしで動作します）Scrapyを介してTORを使用する方法をまだ理解していないので、助けてください。どの TOR バンドルをどのように使用すればよいですか? 両方の質問が解決されることを願っています

1. なんらかの理由でスクレイピー クローラーがハングした場合 (接続障害)、そこからサービス自体を再開したい
2. Scrapy でローテーション IP を使用する方法

学術研究用の Web クローラーを作成しています。このクローラーは、10 ほどの IP アドレスに配布したい数百万のリクエストを作成します。

私のマシンにはすでに 1 つの IP アドレスがあります。Tor を使用すると、1 秒を取得できます。Tor からさらに多くの IP アドレスを取得できますか? これを行うために私が持っているアイデア（およびそれらを取り巻く質問）は次のとおりです

• Tor の複数のインスタンスを実行します。それぞれが IP アドレスを提供します。(しかし、Tor は 1 つまたは 2 つ以上の匿名化された IP アドレスを私のマシンにマップしますか?)
• 1 つのインスタンスを実行しますが、リクエストごとに ID を変更します。(しかし、ここで述べたように、Tor はこの動作をレート制限しますか?)

これらのアイデアのいずれかがうまくいくでしょうか、それとも括弧内のビットがそれらを失敗させるでしょうか? 他のアイデアはありますか？