問題タブ [har]

Web サイト ' http://ok.ru 'を解析します。投稿リクエストからデータを取得するには、Web サイトで Javascript によって生成された特定のトークンを送信する必要があり、このトークンはヘッダーに含まれています。

だから私はおそらく1つの解決策はウェブサイトを開いてトークンを生成させ、ヘッダーをつかむことだと思った.

Java スクリプトを実装できるツールの 1 つは Selenium ですが、ヘッダーを取得するには brosermob-proxy (または同等のもの) を使用する必要があります。それが私が立ち往生しているところです。

応答にヘッダーがなく、わかりません。browsermob を扱ったことのある人なら、何が問題なのかわかるでしょうか? また、私の仕事に対する別の解決策を聞いてうれしいです。コード自体は次のとおりです。

phantomjs-netsniff コードを実行して、ターミナルで (ルートとして) har ファイルを作成できますが、php を使用して実行すると、har ファイルが作成されますがバイトはありません。同じコードが両方とも実行されました。

php でセーフモードを無効にしました。har 生成フォルダーに対する 777 パーミッションです。私が逃したもの。

私のOSはcentos 64ビットです。https://phantomjs.googlecode.com/files/phantomjs-1.9.2-linux-x86_64.tar.bz2を使用してインストールしました。

phpコード

次のように netsniff.js を使用します。

netsniff が完了したら、テキスト エディターでファイル t.out を開くと、次のような JS バグが表示されます。

このエラーの後、有効な HAR データが表示されます。

しかし、有効な JSON データが含まれていない (JS エラー + 有効な JSON HAR データ = 有効な JSON データがない) ため、このファイルを解析できません。

このドメインの netsniff.js から有効なファイルを受け取るにはどうすればよいですか?

現在、Firefox (および Firebug/NetExport プラグイン) で Selenium Webdriver を使用して、ユーザーがページの検索バーを使用した後に送信された HTTP 要求から特定のクエリ文字列パラメーターを取得する回帰テスト シナリオを実行しています。呼び出しが行われた後、NetExport は要求からの .HAR ファイルをローカル フォルダに保存します。実際には、最後のページが読み込まれる直前にトラフィックをキャプチャするコードがあるにもかかわらず、3 つのファイル (テスト中にアクセスしたページごとに 1 つ) が保存されますが、それは別の問題です。

ただし、次のことを行うには、これをもう少し自動化する必要があります。

1) キャプチャした HAR ファイルを読み取り可能な形式にロードする 2) 必要な値を見つける 3) 後で確認するためにその値を記録する

これを行う最初の試みは、HAR ファイルをローカル フォルダーからオンラインの HAR ビューアーにドラッグ アンド ドロップする方法を調査することでした。この特定のページには、HAR ファイルの内容をコピーして貼り付けるか、テキスト ボックスにドラッグ アンド ドロップしてプレビューを生成するためのボックスがあります。これに関するいくつかの異なる質問 (stackoverflow からのもの) を読み、それは不可能であるか、複雑で実用的ではないと判断しました。

「showPreview」設定を入力します。いくつかの異なるサイトでは、次のように説明されています。「 プレビューを表示: エクスポートされたデータのプレビューを表示します。デフォルトでは HAR Viewer が使用されます。extensions.firebug.ne​​texport.viewerURL 設定を参照して ください。」

これにより、NetExport で HAR ファイルを新しいタブで開くビューアに自動的にキックすることができるという考えが浮かびました...しかし、これがどのように行われるかについての簡単な説明が見つかりません。あるサポート ページでは、profile.setPreference("extensions.firebug.ne​​texport.viewerURL", " http://www.softwareishard.com/har/viewer1-1/ ");を使用するという回答がありました。 ただし、その URL を更新して最新の URL を指すようにし、この設定をロードしました...しかし、何をしても、HAR ファイルのプレビューを新しい Firefox タブやその他の場所に表示することはできません。その問題。

私はアイデアがありません。私はこれにかなり慣れていないので、一部の人々が他のやや関連する質問に対して与えた回答やヒントは、私の理解レベルを超えており、とにかく適合していないようです.

とにかく、これが私がこれまでに持っているものです。一番下のコメントアウトされたものは無視してください。これは私が試しているものであり、もう一度いじりたい場合に備えて参照用に残しておきたいものです.

私の文章の壁を読むのに時間を割いてくれた人に、前もって感謝します!

私が行ったいくつかの自動化されたテストでは、Chrome からのリクエストを記録し、それらを curl コマンドで繰り返す必要がありました。私はそれを行う方法をチェックし始めます...

pcap2harを使用して、pcap から har (HTTP アーカイブ) ファイルに抽出します。ただし、pcap ファイルに https パケットが含まれている場合、すべての https パケットが無視されます。

それを避ける方法は？または、https を含む pcap ファイルから har ファイルを取得する他の方法はありますか?

ありがとうございました。

jq を使用して HAR ファイル (chrome devtools が生成) を解析しています。私の目的は、リクエスト URL ごとに、サーバーから返された特定の HTTP ヘッダーの値のリストを含む「テーブル」(または csv 出力もいいかもしれません) を取得することです。

すべてのリクエスト URL のリストを取得するには、次のようにします。

ここで、リクエストごとに、すべての URL を含む列と、応答/ヘッダー セクションで返される対応する Content-Encoding および Content-Type HTTP ヘッダー値を含む次の列が必要です。

次のコマンドで HTTP ヘッダーの値を取得できました。

ここで、URL とヘッダー値を混在させたいと思います。どうやってやるの？

ヘッダーが HTTP サーバーによって同じ順序で返されない可能性があるため、ここで問題があります。