問題タブ [caliper]

Google のマイクロ ベンチマーク プロジェクト Caliper は非常に興味深いと思いますが、ドキュメントはまだ (一部の例を除いて) まったく存在しません。

JVM キャリパーの起動のコマンド ラインに影響を与える必要がある 2 つの異なるケースがあります。

1. いくつかの固定値を設定する必要があります (理想的にはいくつかの固定値を交互に使用します) -D パラメータ
2. いくつかの固定された (理想的にはいくつかの固定値を交互に使用する) JVM パラメーターを指定する必要があります。

このような機能を追加することについての議論を見ましたが、それが追加されたかどうか、またその場合の構文はどうなったかについて結論を出すことができませんでした。

Java doc へのいくつかの例またはポインタ (これがどこかに文書化されていると仮定して) などは非常に高く評価されます!

Caliperを使用していくつかのベンチマークを作成しました。一度に複数のベンチマークを実行するにはどうすればよいですか? 現在、SimpleBenchmark を拡張する多くのクラスがあり、それぞれにいくつかの timeXXX メソッドがあります。これらすべてを同時に実行することは可能ですか?

SimpleBenchmark の javadoc には次のように書かれています。

スイートのベンチマークは によって定義されます。それらは静的である可能性があります。パラメータを取ることは許可されていません。. ..

何？これは不完全に見えます。

Caliper のメーリング リストには、Q&A 用ではないと書かれており、「キャリパー」というタグを付けてここに質問を投稿してください。ただし、このタグが付いた SO 投稿はありません。まだ 1500 担当者がいないので、新しいタグを作成できません。

ユースケース: setUp/tearDown メソッドは 1 つだけです。ベンチマーク クラスには多くのテストがあり、それぞれに大量のメモリが割り当てられています。現在、巨大なヒープを使用する必要があり、テストを追加するほど大きくなります。また、1 つのファイルに多くのテストがあると、メンテナンスがやや面倒になります。複数のベンチマーク クラスを指定し、それらすべてのすべてのテストを 1 回の実行と見なすとよいでしょう。

私は現在、グーグルコードプロジェクトのウィキで入手可能ないくつかのドキュメントを使ってキャリパーを回避しようとしています。いくつかのベンチマークを実行できたので、コマンドラインよりも少し明確に結果を読み取れるように、結果をオンラインで投稿したいと思います。

wikiの指示に従い、microbenchmarks.appspot.com Webサイトにアクセスして、APIキーを「.caliperrc」ファイルにコピーしました。ちなみに、このWebページでは、「。caliperrc」ファイルは「Windowsの場合：C：\。caliperrc」である必要があると説明されていますが、実際、CaliperはWindows上にある％HOME％\。caliperrcを検索します（少なくとも7）：c：\ users \％login％\。caliperrc。

これにより、Caliperは実際に結果をアップロードしようとしますが、「http://microbenchmarks.appspot.com:80/run/に投稿できませんでした：内部サーバーエラー」というメッセージで失敗します。Runner.runメソッドのコードを変更してRuntimeExceptionのスタックトレースも出力するようにすると、次のように表示されます（.caliperrcファイルに「APIKey」の文字列がある％APIKey％）：

従うべきステップがありませんか？それが重要な場合、私は次のJavaバージョンを使用してsvnから直接Caliperソースコードを実行しているWindows764ビットを使用しています。

私は単純なベンチマークを書こうとしていました -

しかし、それは例外で失敗します -

私の他のベンチマークは、完全に正常に動作します..私はここで何か間違ったことをしていますか?

Android用の簡単なベンチマークソフトウェアを書きたいです。Caliper + Vogarを調べて見つけました。しかし、それらについての例はありません。使ってる人いますか？Android Activity から Caliper Benchmarks を呼び出す簡単なコードが必要です。

手伝ってくれてありがとう。

異なるコンパイラとコンパイル パラメータでコンパイルする必要があるため、結果を比較するために複数回実行する必要があるベンチマークがあります。私がそれを実行すると、実行は単純な指定子 (A、B、C など) とともにオンラインで送信されます。

各実行に名前を渡すことができるように Caliper を構成したいと思います。それは可能ですか？

Caliper ソース (http://code.google.com/p/caliper/source/browse/#svn%2Ftrunk%2Ftutorial) から Tutorial.java の measureMemory パラメータをオンにすると、ConfigurationException (agent library failed) が発生します。

何が欠けているのかわからない。ローカルでキャリパー jar を作成しました。このパラメータがなければ、すべてがうまく機能します。操作でメモリがどのように消費されるかを確認したい

ありがとう、ディネシュ

MeasureMemoryをオンにしてテストを行っていたところ、「NonConstantMemoryUsage」例外が発生していました。

エラーメッセージで示されているように、担当者を変更しませんでした。私は何が欠けていますか？

エラー：内部ループのすべての担当者が同じ回数を割り当てるわけではありません！担当者ループは、一定数の割り当てを使用する必要があります。ループ内で担当者の値を使用していますか？

今のところ、さらに続行できるように、NonConstantMemoryUsageをスローしていたAllocationMeasurerのコードにコメントしました（それが良いアイデアかどうかはわかりません！）。現在、負のバイト割り当てが発生しています。

length     instances        B       s        linear runtime
  1        -45356.000 -2873264.000 5.02 =============================
  10       -45816.000 -2873264.000 5.04 ==============================

vm：java
トライアル：0
ベンチマーク：GetCompleteUserInfoByEmail
トライアル：5
メモリ：-Xmx1024M

コードの実行時パフォーマンスの変化を自動的に検出する方法を探しています。これは JUnit と同じように動作しますが、コードの機能をテストする代わりに、速度の急激な変化をテストします。私の知る限り、これを自動的に行うツールは現在ありません。

したがって、最初の質問は次のとおりです。これを実行できるツールはありますか?

次に 2 番目の質問は次のとおりです。使用できるツールがなく、自分で作成する必要がある場合、対処する必要がある問題は何ですか?

2 番目の質問が該当する場合、私が目にする問題は次のとおりです。

1. 実行環境によって変動します。
2. Java のマイクロ ベンチマークには大きなばらつきがあるため、変更を検出するにはどうすればよいですか。
3. Caliper が結果を収集する場合、結果をカスタム形式で保存できるように Caliper から結果を取得する方法。キャリバーのドキュメントが不足しています。

Caliper を実行しようとしていますが、恐ろしいベンチマークの死の例外が発生しました。

CaliperRun の errorLog には、「エラー: メイン クラスが見つからなかったか、メイン クラスを読み込めませんでした」が含まれていますが、スタック トレースやその他の有用なものはありません。

スタック トレースからわかるように、私は Mirah を使用してベンチマーク クラスを生成していますが、Mirah が問題であると疑う前に、ベンチマーク クラスで生成された javap で逆コンパイルされた main メソッドを次に示します。

(これはスタック トレースにも存在することがわかります。)

この問題をデバッグするために掘り始める場所に関するヒントはありますか? この問題がキャリパーのどこから発生しているのかわかりません。