問題タブ [har]

API Embed などの API ドキュメンテーション ツールに使用される ServiceStack サービスの HAR を自動的に生成する簡単な方法はありますか?

時間単位でアーカイブされた多くの har ファイルがあり、月と日に基づいてデータを分析したいと考えています。ピッグロードでサポートされ、アーカイブされていないフォルダーとファイルでうまく機能するさまざまなワイルドカードマッチング方法を試しましたが、いずれも har では機能しません。

これは私が試した方法です：

複数の har ファイルを 1 つずつロードする代わりに、1 つの pig コマンドでロードする方法はありますか?

HAR複数の小さな入力ファイルを含むファイルを作成しました。単一の入力ファイルで map reduce ジョブを実行する場合、次のコマンドになります。

hadoop jar <jarname> <packagename.classname> <input> <output>

しかし、上記が HAR ファイルの場合、<input>ファイルのすべての内容がHAR入力と見なされるようなコマンドは何でしょうか?

私が持っているもの: 私の AngularJS アプリ用に Jasmine で書かれたいくつかの統合テスト仕様 (それらは私のアプリ全体をナビゲートします)

欲しいもの: アプリのネットワーク監視を実行し、HAR を使用してデータをエクスポートする

単純な解決策: URL を受け取り、HAR を使用してデータをエクスポートするスクリプトを作成するだけです。簡単ですが、自動ではありません (手動で URL を提供する必要があります)。

ソリューションの強化: 上記のプロセスを自動化します。アプリのすべてのページをナビゲートし、それぞれのネットワーク データを抽出するスクリプト。しかし、統合テスト (分度器 + ジャスミン) を介してアプリのすべてのページを既にナビゲートしているので、ネットワーク トラフィックのエクスポートに関する部分を「プラグイン」するだけです。

私はこれを見つけました。分度器でBrowserMob Proxyを使用するにはどうすればよいですか? 、提供されている例 here exampleをチェックアウトしていましたが、それがどのように機能するのかよくわかりません。

• プロキシのホストとポートとして何を入力すればよいですか?
• Selenium を使用しており、そのホストとポートを指定しましたが、ECONNREFUSEDエラーが発生します。

これは私の分度器ファイルの設定です:

そして、私の統合テスト仕様の1つ（それはCoffeeScriptです）：

しかし、私が言ったように、ECONNREFUSEDエラーが発生しています。Selenium と Protractor および brosermob との統合については、かなり迷っています。

アイデアや代替案はありますか？ありがとう！

現在、hadoop の FileSystem API のメソッドを呼び出して HDFS にファイルをインポートしています。インポートorg.apache.hadoop.fs.FileSystem.moveFromLocalFile()される小さなファイルの数が多すぎるため、namenode で大きなヒープ サイズが発生し、それを削減したいと考えています。最初に小さなファイルをすべてインポートすることなく、ファイルをHARとして HDFSにインポートする簡単な方法はありますか? つまり、小さなファイルをインポートしますが、HDFS には、インポートしたファイルを含む 1 つの HAR ファイルがあります。

それは可能ですか？Navigation Timing APIを使用してタイミング データを抽出できることはわかっていますが、それだけでは十分ではありません。また、Browsermob Proxy のようなプロキシを使用できることも知っていますが、クライアント側のコード (JS) だけで同じことができるかどうか疑問に思っていました。