問題タブ [apache-httpcomponents]

私は単純な Web スクレイパーを構築していますが、同じページを数百回フェッチする必要があります。また、ページには動的であり、要求ごとに変更する必要がある属性があります。リクエストを処理するためにマルチスレッドの HttpClient ベースのクラスを構築しましたExecutorService。スレッド プールを作成してスレッドを実行するために を使用しています。問題は、動的属性が各リクエストで変更されないことがあり、3 つまたは 4 つの後続のスレッドで同じ値を取得することです。私は HttpClient についてたくさん読んだことがありますが、この問題がどこから来たのか本当にわかりません。それはキャッシングに関するものでしょうか、それともそのようなものでしょうか!?

更新: 各スレッドで実行されるコードは次のとおりです。

ここで実際に何が可能かについて少し混乱しています。

Java Apache HTTP クライアント (4.x) はプロキシをチェーンできますか? 方法に関するヒントはありますか？

できることを示唆するドキュメントを見つけましたが、ソースは少し複雑でDefaultRequestDirector、例外をスローするクラス ( ) が少なくとも 1 つ見つかりました。

を使用して単一のプロキシでクライアントを構成するのは簡単です

しかし、プロキシのチェーンをセットアップする方法は私には明らかではありません。上記のドキュメントのヒントに従う場合、次のことを行います。

しかし、それは上記の例外を引き起こします;

HttpClientを使用してWebページにログインしています。Webページは私に別のページにリダイレクトします。

私は次のコードでリダイレクトを処理しました：

httpClient4.1.3jarとhttpCore4.1.4jarを使用しています。私のJavaコンパイラのバージョンは1.5です。

次のエラーが発生します：

誰か助けてくれませんか。以前のスタックオーバーフローの質問を確認し、コンパイラをバージョン1.3に変更して確認しましたが、それでも同じエラーが発生しました。httpCoreをバージョン4.0に変更して確認しましたが、それでも同じエラーが発生しました。

追加情報が必要な場合はお知らせください。

ありがとうございました。

httpclient 4.1 のデフォルトの httpParams に関するドキュメントが見つかりませんか?

GET を実行するときのデフォルトのソケット タイムアウトは?

認証が必要なあいまいなWebサーバーと通信する必要があります。クレデンシャルを入力しないと、ログインフォームが表示されます。ただし、一方的な基本認証の資格情報を提供すると、目的のコンテンツに直接アクセスできます。

wgetこれを直接サポートします：

今私の質問：ApacheのHTTPコンポーネントを使用してJavaでダウンロードするにはどうすればよいですか？

これが私がこれまでに得たものです。（プロキシも配置されており、で使用-Y onしwgetており、一致するhttps_proxy環境変数があります。）

ただし、実際のドキュメントではなく、ログインフォームページだけが表示されます。DefaultHttpClientが、そのように、未承諾のクレデンシャルを送信していないのではないかと疑ってwgetいます。Javaプログラムにクレデンシャルを送信させる方法はありますか？

一般的なPOSTメッセージをサーバーに送信するためにすでに何時間も試行しています。HTTPコアライブラリを使用しています。

すべてのヘッダーが正しく構成されているようですが、どういうわけかメッセージの本文（エンティティ）が削除され、サーバーに送信されていません。この問題は、「process」コマンドまたは同じ「preProcess」を呼び出した後に発生します。注：これは、Apacheの公式の例と実質的に同じです。アドバイスをいただければ幸いです。

結果のエンコーディングを特定のエンコーディングに設定するにはどうすればよいですか (特にドイツ語のウムラウト - ä ö ß の場合)

これが私がすることです：

これはほんの一例です。

結果には次のような奇妙な記号が含まれています

 � 1998-2012、Amazon.com, Inc. または Tochtergesellschaften

編集：

これは、私が使用している上記のコードのいくつかの要素の私のコンストラクタです:

前もって感謝します

HTTP ヘッダーを含む文字列があります。これを Apache HttpComponents HttpRequest オブジェクトに変換したいと考えています。文字列を自分でバラバラにしないでこれを行う方法はありますか?

このチュートリアル: http://hc.apache.org/httpcomponents-core-dev/tutorial/html/fundamentals.html#d5e56および javadoc はそれほど多くを示していません。

私は、何が起こっているのか分からない奇妙な状況にいます。

Android SDK を r17 にアップグレードするまで、コードは機能していました。

コードはコンパイルできますが、実行時にEclipse throws ClassNotFoundException()、findClass メソッドの下の PathClassLoader.class で

見つからなかったクラスは"org.apache.http.entity.mime.content.ContentBody" and "org.apache.http.entity.mime.content.StringBody"

私はすでに最新のものをインポートしました(4.1.3) http components jar file into project-> properties-> java build path-> add external jar,

また、私のプロジェクトをN回クリアしますが、何もうまくいかないようです。

これはlogcatからのものです：

(乱雑な貼り付けで申し訳ありません。実際には、logcat からわずか 3 行です)

私の TargetSDK は API10 で、MinSDK は API8 です。

理由は何ですか？？

BasicNameValuePair が重複キーを許可しているかどうかを知りたいですか?