問題タブ [har]

目標: BrowserMob-Proxy を介して Selenium Python スクリプトを実行し、HAR ファイル キャプチャをキャプチャして出力したいと考えています。

問題: 機能する (非常に基本的な) Python スクリプト (以下を参照) があります。ただし、BrowserMob-Proxy を使用して HAR をキャプチャするように変更すると、失敗します。以下に 2 つの異なるスクリプトを示しますが、どちらも失敗しますが、理由は異なります (コード スニペットの後に詳細を示します)。

BrowserMob-Proxy 説明: 前述のとおり、0.6.0 と 2.0-beta-8 の両方を使用しています。この理由は、A) LightBody (BMP のリード デザイナー) が最近、彼の最新リリース (2.0-beta-9) が機能しないことを示し、代わりに 2.0-beta-8 を使用するようにユーザーにアドバイスし、B) 私ができることからさまざまなサイト/stackoverflow 情報を読んで分かることは、Client.py/Server.py の呼び出しには 0.6.0 (PIP 経由で取得) が使用され、サーバーの起動には 2.0-beta-8 が使用されるということです。正直なところ、これは私を混乱させます。ただし、BMP のサーバーをインポートする場合、サーバーを起動するためにバッチ (.bat) ファイルが必要です。これは 0.6.0 では提供されていませんが、2.0-beta-8 では提供されています...誰かがこの領域に光を当てることができれば混乱（以下に説明する私の問題の根源であると思われます）、それから私は最も感謝しています.

ソフトウェア仕様:

• オペレーティング システム: Windows 7 (64x) -- VirtualBox で実行
• ブラウザ: FireFox (32.0.2)
• スクリプト言語: Python (2.7.8)
• 自動 Web ブラウザ: Selenium (2.43.0) -- PIP 経由でインストール
• BrowserMob-Proxy: 0.6.0 および 2.0-beta-8 -- 以下の説明を参照

Selenium スクリプト (このスクリプトは動作します):

このスクリプトは正常に実行され、エラーは発生しません。これは、BMP ロジックを追加する前に機能することを示すために、説明のために提供されています。

BMP を使用したスクリプト ALPHA (動作しません):

このコードはスクリプトの実行に成功し、エラーは発生しません。しかし、ハード ドライブ全体を検索しても、ALPHA_HAR.har を見つけることができません。

BMP を使用したスクリプト BETA (動作しません):

このコードはhttp://browsermob-proxy-py.readthedocs.org/en/latest/から取得されました。上記のコードを実行すると、FireFox は google.com を取得しようとしますが、ページの読み込みに成功しません。最終的には、エラーが発生することなくタイムアウトします。BETA_HAR.har がハード ドライブのどこにも見つかりません。また、このブラウザーを使用して他のサイトにアクセスしようとすると、同様に読み込みに失敗することにも気付きました (これは、プロキシが適切に構成されていないことが原因であると思われます)。

Chrome がブラウジング セッションを記録するために使用するHARファイルを調べていました。WebInspectorで作成しました。

私のセッションでは、画像ファイルとは何だろうと思いました。どうやらそれらをテキストとしてダウンロードします...次のように記録されたPNGが1つあります。

PNGファイルを見たいのでnano test.png、テキストを入力してファイルに保存しましたiVBOR... Chromeで画像を開くと、壊れた画像が表示されました-実際には何もありません。

この方法で PNG ファイルを再構築するための追加の手順はありますか?

同じファイルによると、元の URL はhttp://i.stack.imgur.com/XDJKz.pngで、画像は

HARjavaScriptのエントリの形式でネットワーク リクエストのコンテンツを取得するにはどうすればよいですか?

開発者ツールのネットワーク パネルから右クリックすると、[すべてを HAR としてコピー] または [コンテンツと共に HAR として保存] が許可されますが、その機能をプログラムで実現する方法が見つかりません。これを達成する方法を知っている人はいますか？

リモート デバッグ機能を使用して、コンソールから情報にアクセスできます。たとえば、ページのタイミングを取得できます。HAR 全体を取得できるコマンドはありますか? どんな助けでも大歓迎です。

バックグラウンド

私は、ユーザーが HAR ファイルをアップロードし、それらを何度も再生し続け、時間の経過に伴う平均速度、サービスの可用性などの分析を収集できるようにするツールに取り組んでいます。ここには、Har ファイルを取得して生成するコア コードが既にあります。それらを再生し、フラット ファイル データベースで分析を収集するプロセスをアップします。

https://github.com/shaunakv1/node-chrome-har-replay

次に、ユーザーが HAR ファイルをアップロードして視覚化できるようにする Web フロントエンドの構築に取り組んでいます。これは、ここにあるいくつかのツールと非常によく似ています。

http://ericduran.github.io/chromeHAR/

http://rafacesar.github.io/simplehar/

http://www.softwareishard.com/har/viewer/

それらを視覚化した後、私が探している機能は、角度フィルターのようなものを追加することです。これにより、ユーザーは正規表現文字列を入力し、関心のある URL をフィルター処理して、HAR ファイルをサーバーに保存できます。

その後、ツールはこの保存された HAR を再生し続け、パフォーマンス分析、ダッシュボード、およびすべての優れたものを生成します。

最後に質問：

ブラウザでこれらの HAR ファイルをフィルタリングして保存できるツール/ライブラリを知っていますか? 私が投稿した例はどれも、フィルタリングと保存の部分を行いません。

私は間違いなく自分で書き始めることができますが、既に存在するかどうかを確認するための提案を探しています. 私は nodejs で作業しているので、ノード ライブラリが理想的ですが、必須ではありません。フィルタリングできるアプリケーションでも問題ありません。Chrome には優れたフィルターがありますが、残念ながら、フィルター処理された HAR は保存されません。最も理想的なのは、上記のように Web でフィルター処理を行い、HAR を保存するオープンソース ツールです。

ありがとう！

Chrome バージョン 41.0.2272.104 (64 ビット) からのネットワーク リクエストを調べていたところ、Google アナリティクスのコレクション エンドポイントへのリクエストに好奇心をそそられました。

認識できないヘッダーがいくつかあります: :authority:, :method:, :path:,:scheme:

:authority:HostHTTP 1.xのヘッダーを置き換えるようですが、ヘッダーで:method:はなく HTTP 動詞であると予想されます

Chrome の HAR エクスポートは、HTTP バージョンを「不明」と報告します - http://pastebin.com/1LjRVeHbを参照してください

どうしたの？

Chrome デベロッパー ツールで監視されている HTTP リクエストの量と、gtmetrix や webpagetest などの一部のウェブベースのウェブサイト パフォーマンス監視/スコアリング ツールとの間で、かなりのデータの不一致があることに気付きました。

この不一致は私にとって奇妙です。使用されている Web ベースのツールはすべて同じリクエスト数を示していますが、開発者ツールは2 倍の量を示しています。関連する Web サイト データは、開発者ツールでも 2 倍大きくなります。さまざまなサイトでこれらの動作を認識しましたが、例としてこれらを調べることができます。

• https://goo.gl/RMwD4g
• http://goo.gl/6yH5Mc

リクエストの量は 60 ～ 65 で、開発者ツールは 130 を示しています。すべてのリクエストを HAR ファイルとして比較したところ、ウェブベースのツールと Chrome 開発者ツールは部分的に異なるファイルを読み込んでいることがわかりました。ウェブベースのツールは 10 個の固有のファイルを読み込んでいますが、開発者ツール、開発者ツールは、Web ベースのツールでは読み込まれない 60 個の固有のファイルを読み込んでいます。

主な質問は、なぜそうなのかということです。

その inspect 要素が適切な選択であるため、ブラウザー (たとえば chrome ) によって読み込まれたドキュメントに関するいくつかの情報を知る必要があります。ここで、データを Excel にインポートする必要があります。Inspect 要素は、データを .har (http アーカイブ) ファイルとして保存できるようにします。

検査要素からExcelにネットワーク情報を保存する方法。私のブラウザは Google chrome です。ここで、情報は提供しますが、Excelに関する情報は提供しない回答を見つけました。