問題タブ [browsermob-proxy]

Webページをスクレイピングするために、FirefoxでSelenium Webdriverを使用しています。Web ブラウザは、過剰なリクエスト (facebook.net など) が完了するまで無限に待機することがあります。

BrowserMob-Proxy を使用してこれらのリクエストをフィルタリングしようとしました。しかし、それは役に立ちませんでした。これらのリクエストは、200 または 404 コードを受信した後でも停止しません。

しばらくすると、Web ブラウザーのページの読み込みを停止する可能性について考えました。例えば：

ただし、Web ページが完全に読み込まれるまで機能しません。

私の場合、何をするように提案できますか？

PS これは pageLoadTimeout パラメータを使用したコードです。

パフォーマンス データを取得するために BrowserMobProxy をセットアップしようとしています。しかし、現時点ではあまり成功していません。私が見つけることができるドキュメントのすべてではないにしても、ほとんどは現在非推奨の ProxyServer を使用しているようです。また、 BrowserMobProxy gitのドキュメントには、完全な例はありません (何か不足していない限り)。

そのため、現時点ではプロキシサーバーを稼働させており、har も作成しています。しかし、テスト スイートの最後には、ファイルにあまりコンテンツがありません。

これが私が現在持っているプロキシ設定です：

@BeforeSuite の各テスト スイートの前に実行します。

そして、テストが @AfterSuite で終了した後

ここからどこへ行く必要があるか、誰か教えてもらえますか? または、私を正しい方向に向けますか？

以前のプロジェクトでは browsermob と selenium を使用して分析テストを行うことができましたが、appium と selenium を使用してモバイル Web で同じことを行うことはできません。プロキシ サーバーを起動することはできますが、モバイル Web にバインドすることはできません。ありがとう

BrowserMob Proxy の使用に詳しい人はいますか? 助けが必要です。

https://github.com/lightbody/browsermob-proxy/blob/master/README.md

私の目標は、BrowserMob Proxy を使用して、[ネットワーク] タブで特定のイベントが発生したことを検出することです。これを行う方法はありますか？

言語は Java であり、私は Selenium Grid フレームワークを使用しています。

Web サイト ' http://ok.ru 'を解析します。投稿リクエストからデータを取得するには、Web サイトで Javascript によって生成された特定のトークンを送信する必要があり、このトークンはヘッダーに含まれています。

だから私はおそらく1つの解決策はウェブサイトを開いてトークンを生成させ、ヘッダーをつかむことだと思った.

Java スクリプトを実装できるツールの 1 つは Selenium ですが、ヘッダーを取得するには brosermob-proxy (または同等のもの) を使用する必要があります。それが私が立ち往生しているところです。

応答にヘッダーがなく、わかりません。browsermob を扱ったことのある人なら、何が問題なのかわかるでしょうか? また、私の仕事に対する別の解決策を聞いてうれしいです。コード自体は次のとおりです。

私はbrowsermob-proxy.rbBrowsermob Proxy gemの現在のリリースを介して、いくつかのテストを記録するために を使用してきました。RSpec

残念ながら、ランダムにトラフィックの記録に失敗しているようです。一部のテスト実行では、トラフィックが完全に記録されています。他のものでは、コードや環境を変更しなければ、出力される har ファイルはほとんど空です。テスト自体は問題なくパスしますが、何も記録されていません。har ファイルは常に生成されます。

ログを介して、すべてのコードが実行されていることを知っています。したがって、問題がどこにあるのか正確にはわかりません。関連するコードの一部を以下に示します。

ハードセービングロジック (これはafter(:all)、テストの最後にブロックによって呼び出されます)

プロキシ作成ロジック (上記と同じファイルとコンテキスト内)

生成されたほとんど空の har ファイルの 1 つの例:

何か案は？

編集: さらにテストした結果、これは Internet Explorer でのみ発生することがわかりました。Firefox と Chrome は正しく記録します

Browsermob プロキシを使用して、読み込まれた Web ページの HAR コンテンツを chrome webdriver でキャッチしています。

プロキシを初期化する方法は次のとおりです。

しかし、https 経由で URL を取得しようとすると (例: https://screen.yahoo.com )、Web ブラウザーに「この Web ページにはリダイレクト ループがあります」と表示されます。これに対する解決策はありますか？

browsermob proxyの pythonラッパーを使用しており、サーバーの応答を変更する必要があります。しかし、私はそれを行う方法を理解できません。動作するコード サンプルを教えてもらえますか?

ドキュメントには、JavaScriptコードを送信できると書かれていますが、うまくいきません：

ありがとう！