問題タブ [polipo]

問題

SOCKS プロキシ (TOR) をラップする HTTP プロキシをテストしています。通常の URL では問題なく動作しますが、一部の .onion アドレスで奇妙な結果が得られます。

この例では、「隠しウィキ」を指しています。出力はゴミのように見えます:

バックグラウンド

torch hidden サービスの使用は問題なく動作します:

同様に、通常の URL は問題ないようです。

プロキシは、次の構成の polipo で作成されます。

考えられる原因

考えられる原因についての私の考え：

1. ある種の Web クローラー対策として、サーバーがガベージで応答します。
2. 応答の処理方法に問題があります。
3. ポリポはそれを台無しにしています。
4. 何か他の...

考え？

私は tor で polipo を使用して簡単な例を実行していますが、Firefox ブラウザーで正常に動作しています。polipo をプロキシとして設定すると、ブラウザは問題なく動作します。

次に、簡単な例に基づいて node.js で簡単なリクエストを実行しようとしましたが、うまくいきませんでした。http://check.torproject.orgへのリクエストを実行しようとすると、正常に動作します。しかし、https:// へのリクエストを行うと、次のエラーが発生します。

私が送信しているヘッダー:

奇妙なことに、このページは Firefox で問題なく動作します。このコードで何か間違ったことをしているのだろうか、それとも単純に polipo を使用して HTTPS リクエストを実行できないのでしょうか。

誰かが私がテストできる解決策や何かを持っていますか? （ちなみにマックを使っています）

ありがとうございました！

コード：

更新:私は今、このコマンドを実行しています:

そして、このエラーが発生します:

私は、scrapyd-deploy を介して私のスクレイピー スパイダーをデプロイしようとしています。以下は、私が使用するコマンドです。

次のエラー メッセージが表示されます。

以下は私のscrapy.cfgファイルです：

port で polipo プロキシを使用して、tor と polipo を実行しています'http://localhost:8123'。wget を実行してそのページを問題なくダウンロードできます。プロキシは正しく機能しており、インターネットに接続できます。さらに説明が必要な場合はお尋ねください。

ありがとう！

私はこの奇妙な状況にあり、

現在所有しているすべてのブラウザで機能するリンクがあります ( )。 を使用しchrome,IE,firefoxてページをクロールしようとしました。しかし、私は匿名でクロールするために使用していますscrapypythonresponse.status == 400tor + polipo

response.bodyは ：

なぜそうあるべきなのか疑問に思っています.ブラウザは結果を得ることができますが、できないのscrapyでしょうか?

brew を使用して、Mac OS ターミナルから polipo をインストールします。インストールは成功したようですが、設定ファイルを見つけて編集することができません。誰か理由を教えてもらえますか?

Ubuntu 14.04 LTS を使用しています。

Polipo を試してみましたが、自分自身を allowedClient として追加し、何時間も調査しても解決策がないにもかかわらず、Firefox の接続を拒否し続けました。代わりに、Privoxy をインストールし、Tor の Web サイトにアクセスして Firefox で動作することを確認したところ、このブラウザは Tor を使用するように構成されています。これにより、Tor Web サイトをスクレイピングできるはずであることが確認されました。

しかし、Scrapy を使用すると、誰も持っていないように見えるエラーが発生します...?

この「to_byte」エラーを調べましたが、Scrapy のソース コードに移動しました。

このコードは、私のローカルホスト Web サイトや他の Web サイトをスクレイピングしたため、プロキシなしで動作することはわかっていますが、タマネギの Web サイトにアクセスするにはプロキシが必要であるため、明らかに Tor では動作しません。

何が起こっている？

ミドルウェア.py

設定.py

polipoターミナル プロキシの http 要求で使用します。設定が完了したら、リロードします。エラーが発生しました。

端末のエラー情報:

ファイルの所有者とグループを変更しようとしましたが、リロードされません。

/usr/local/Cellar/polipo/1.1.1/homebrew.mxcl.polipo.plist: Path had bad ownership/permissions

Web プロキシ Polipo にロギングを追加しようとしています。その一環として、次の行に続く関数で URL リクエストをログに記録する必要があります。

コンパイルから、At​​omPtr は型の構造体である_Atomことがわかりますが、これが定義されている場所が見つからないため、ログ ステートメントで URL のテキストを参照できます。Cコードで構造体定義を検索する標準的な方法は何ですか?