問題タブ [htmlunit]

HtmlUnit、HttpUnit、または同様のライブラリを使用して、アプリケーション（Google App Engineで実行）にWebページのDOMを読み込もうとしています。

誰かが似たようなことをすることができましたか？

次の Html のチャンクを取得しました...

選択用のページ/コンテンツは、javascript 関数/呼び出しによって生成されます... ページをフェッチできるので、HtmlPage インスタンスを取得します。

DOM に「フォーム」要素がないため、select/options を取得する方法がわかりません。これを処理するコードのチャンクへのポインタをいただければ幸いです。

実際の Html は次のとおりです。

JavaScriptリダイレクトを自動的に追跡する代わりに、JavaScriptがリダイレクトしたいURLをHtmlUnitに返すように強制できますか？

// コンテクスト：

5つのJavaScriptリダイレクトが連続している場合、停止したページのURLしか表示されません。実行された5つのURLは表示されません。

おそらく、リダイレクトを探すためにロガーをコールバックメソッドに接続できますか？これが可能かどうか、またはそれがどのように機能するかはわかりません。

ここでの他の回答と同様に、「ネット」を調べました..

次の html のようなものがあります。

私は運がないので次のことを試しました

だから..実行行に何を入れるべきかを理解しようとしています..

何かのようなもの

ありがとう

時折、HtmlUnit が JavaScript エラーに出くわし、アプリケーション全体がダウンする重大なエラーが発生することがあります。

これが吐き出す長いスタックトレースです：http://pastie.org/806625

スクリプト エラーで例外をスローしないように webClient を既に設定しましたが、これは役に立たないようです。

Java がこの例外から回復して、アプリケーションの残りの部分を引き続き実行できるようにするために何かできることはありますか?

PythonにはJavaScriptサポートを提供するスクリーンスクレイピングライブラリがありますか？

私は単純なHTMLリクエストにはpycurlを使用し、JavaScriptサポートを必要とするより複雑なリクエストにはJavaのHtmlUnitを使用しています。

理想的には、Pythonからすべてを実行できるようにしたいのですが、それを実行できるライブラリはありません。それらは存在しますか？

HtmlUnit Cookieをファイルに保存し、次回の実行時にそのCookieからロードしたいと思います。どうやってやるの？ありがとう。

既存のWebClientを使用してカスタムHEADリクエストを投稿するにはどうすればよいですか？つまり、ページにフォームがないので、リクエストのプロパティを手動で設定したいと思います。

通常のWebブラウザと同じように、WebClientに外部のcssスタイルシートと画像本体をダウンロードさせるにはどうすればよいですか？

これを見てください：

このコードを実行すると、FileNotFoundException がスローされます。これは、ページの HTTP ステータス コードが 404であり、User-Agent が に設定された GET メソッドで同じページを再度取得するためJava-...です。ページを取得するのはなぜですか (「通常の」ステータス コードでは発生しません)。これはバグですか？ありがとう

サーバーの応答全体は次のとおりです。

クライアントに何かを取得するように指示する場所はどこですか? そして、どうすれば WebClient にそれを無視させることができますか?

HTTPDebugger のスクリーンショットを次に示します 。ここでの問題は、2 番目の要求が送信される理由と、別のユーザー エージェントで送信される理由がわからないことです。