この質問によると、同じマシンで実行されたベンチマークの結果は非常にさまざまでした。
使用方法やフレームワークについて質問しているわけmicrotimeではありませんが、ベンチマークが偏っていないことをどのように確認していますか? 機械のセットアップ、ソフトウェアのセットアップ、プロセスのセットアップはありますか? ベンチマークが参照として安全に使用できることを確認する方法はありますか?
質問する
355 次
1 に答える
0
基本的に、ベンチマークは科学的調査のようなもので、同じルールが適用されます。ベンチマークは通常、ある種の質問に答えるために行われるため、適切な質問を作成することから始めてください。その後、間違った偏見をすべて排除するのは実践と経験です。
ランタイム環境を詳細に把握し、文書化してください (たとえば、電源管理や、測定を妨げる可能性のあるその他のバックグラウンド タスクをオフにします)。十分な頻度で実験 (ベンチマークの実行) を繰り返して、良好で安定した平均値を取得し、それを文書化してください。何を測定しているのかを確認してください (たとえば、メモリ パフォーマンスなどを測定する場合は、すべてのキャッシュよりも大きなワーキング セットを使用するか、コアと同じ数のスレッドを使用するなど)。
キャッシュをいっぱいにしてデータセットをキャッシュする必要がある場合もあれば、正反対のことを行う必要がある場合もあります。ベンチマークで答えたい質問によって異なります。
于 2013-10-06T22:30:18.417 に答える