主に時間に関して、高性能コンピューターでの数値シミュレーションソフトウェアのいくつかの実装をベンチマークしますが、メモリ使用量、プロセス間通信などの他のリソースも同様に興味深い場合があります。
今のところ、(この分野で) ソフトウェアをベンチマークする一般的なガイドラインについての知識はありません。どのくらいの測定ノイズが合理的に予想されるのか、また、通常どの程度のテストを実行するのか、私にはわかりません。もちろん、これらの問題はシステムに依存しますが、妥当と考えられる基準がいくつか存在することは確かです。
そのような（紹介）情報を提供できますか？
テストにそれほど時間がかからない場合は、数秒かかるようにテストを繰り返します (たとえば、10,000 回)。
次に、それを複数回 (たとえば 5 回) 実行して、テスト結果が再現可能かどうか (または非常にばらつきがあるかどうか) を確認します。
このアプローチには限界があります (「ウォーム」キャッシュでテストするなど) が、何もしないよりはましです。たとえば、既存のコードにパフォーマンスを微調整したことで実際にパフォーマンスが向上したかどうかを確認するなど、同様のコードを比較するのに特に適しています。 （つまり、「前」および「後」のテストを行うため）。
最善の方法は、実際に使用するジョブをテストすることです!
実際の問題のサブサンプルを実行できますか?数分しかかからず、さまざまなマシンで時間を計ることができますか?