0

現在、多くの Web サイトには ajax によってロードされたコンテンツが含まれています (例: 一部のビデオ Web サイトのコメント)。通常、これらのデータをクロールすることはできません。得られるのは、一部の js ソース コードだけです。ここで質問です。html 応答を取得して目的の最終ページに到達した後、JavaScript コードをどのように実行できますか?

HtmlUnit にはバックグラウンド js を実行する機能があることは知っていますが、多くのバグやエラーが存在します。他に役立つツールはありますか？

ajax リクエストの URL をクロールし、そのパラメーターを分析し、リクエストを再送信してデータを取得できると言う人もいます。上記の方法で問題が解決しない場合、ajax URL を抽出して正しい形式でリクエストを送信する方法を誰か教えてもらえますか?

ちなみに言語はJavaがベスト

4

2 に答える 2

0

はい、Netwoof は Ajax を簡単にクロールできます。その API とボット ビルダーを使用すると、コードを 1 行も書かずに実行できます。

于 2014-04-17T18:18:16.970 に答える
0

これは、HTTP の優れた点であり、Java も必要ありません。AJAX をデバッグするための goto ツールは、Chrome 拡張機能のPostmanです。まず、Chrome デバッガーでリクエストを確認し、顕著なビット (URL またはフォーム エンコードされたパラメーターなど) を特定します。

次に、タブを開いて、Postman を使用してサーバーで要求を開始するのと同じくらい簡単です。すべてが同じブラウザ コンテキスト内にある限り、すべての Cookie (認証用など) も一緒に送信されます。

于 2014-04-17T20:28:21.250 に答える