問題タブ [benchmarking]

私が以前に提起した質問のフォローアップ：

最終的に、ユーザー CPU 時間と合計 CPU 時間は、実際の経過時間よりも約 4% 長くなりました。以前の質問に対する受け入れられた回答に基づいて、これがどのように当てはまるかわかりません。誰でもこれを説明できますか？

コード ベースの単体テスト カバレッジを、理にかなっている程度にまで高めたとしましょう。(特定のポイントを超えると、カバレッジを増やしても ROI は向上しません。)

次に、パフォーマンスをテストしたいと思います。コードをベンチマークして、新しいコミットが不必要に速度を低下させていないことを確認します。私は、コミットによる速度低下に対するSafari のゼロ トレランス ポリシーに非常に興味をそそられました。スピードへのコミットメントのレベルがほとんどのプロジェクトで良い ROI をもたらすかどうかはわかりませんが、少なくともスピードの後退が発生したことを警告され、それについて判断できるようになりたいと思っています.

環境は Linux 上の Python であり、BASH スクリプトでも実行可能な提案は非常に嬉しく思います。(しかし、Python が主な焦点です。)

次の奇妙な動作を目撃しました。ほとんど同じことを行う 2 つの関数があります。これらは、特定の操作を実行するのにかかるサイクル数を測定します。ある関数では、ループ内で変数をインクリメントします。他の場合は何も起こりません。変数は揮発性であるため、最適化されません。これらは関数です:

そこには標準外の機能がいくつかありますが、管理できると確信しています。

問題は、最初の関数は4を返し、2 番目の関数 (おそらく少ない) は6を返しますが、2 番目の関数は最初の関数より明らかに少ないことです。

それは誰にとっても意味がありますか？

実際には、最初の関数を作成したので、2 番目の測定のループ オーバーヘッドを減らすことができました。それを行う方法はありますか（この方法では実際にはうまくいきません）？

私はUbuntuを使用しています（64ビットだと思います）。

どうもありがとう。

PHP と Pylons のベンチマークを行いたい。両方の比較をできるだけ均等にしたいので、思いついたのは次のとおりです。

• PHP 5.1.6 と APC、MySQL データベースに接続する smarty テンプレートを使用
• 同じ MySQL データベースに接続する mako テンプレートで Pylons を使用する Python 2.6.1

より公平な比較を行うために、その設定で変更する必要があるものはありますか?

ほとんどアクティビティがなく、2G の RAM と 4 コアの予備サーバーで実行します。

それらをどのようにベンチマークすべきか、またはすべきでないかについての提案はありますか? 実際のベンチマークには ab を使用する予定です。

関連している

• python ウェブページと php ウェブページのどちらが速いですか?

最近、私たちが開発したアルゴリズムの MIPS (1 秒あたりの命令数) を作成するよう依頼されました。アルゴリズムは、一連の C スタイルの関数によって公開されます。Dell Axim でコードを実行して、さまざまな入力でのパフォーマンスをベンチマークしました。

この質問はハードウェア ベンダーから寄せられたものですが、私は主に HL ソフトウェア開発者であるため、要求にどのように対応すればよいかわかりません。おそらく、同様のハードウェア/ソフトウェアのバックグラウンドを持つ人が助けてくれるでしょう...

1. 私たちのアルゴリズムはリアルタイムではないので、MIPS として定量化する必要はないと思います。組み立て説明書の総数を単純に引用することはできますか?

2. 1 が true の場合、一般的に、または ARM/XScale に特化してこれを行う方法 (つまり、アセンブリ命令の数を測定する方法) を教えてください。

3. 2 は、WM デバイスまたは VS2005 で提供されるデバイス エミュレーター経由で実行できますか?

4. 3 自動化できますか？

どうもありがとうございました。チャールズ

ご助力いただきありがとうございます。S.Lottは釘を打ったと思います。フォローアップとして、さらに質問があります。

5 MIPS の測定方法に関する提案はありますか? MIS を計算するために、アルゴリズムを実行し、それをドライストーン/ホワイトストーン ベンチマークと比較することを提案する人がいると聞きました。

6 アルゴリズムはリアルタイムで実行する必要がないため、MIPS は本当に有用な尺度ですか? (例: factorial(N)) 処理要件を定量化する他の方法は何ですか? (実行時のパフォーマンスは既に測定しましたが、満足のいく結果ではありませんでした。)

7 最後に、MIPS は大雑把な見積もりであり、dep であると仮定します。コンパイラ、最適化設定などについて？

携帯電話からサーバーに 200 ミリ秒ごとに測定データを送信するアプリケーションを作成しています。データはリアルタイムで処理する必要があるのですが、送信時刻と処理開始時刻の差がどんどん大きくなってきているので、リクエストが滞るポイントを探さなければなりません。

httpwebrequest フォーム (http://testserver/submitdata?ax=value1&ay=value2&az=value3) でリクエストを送信しており、サーバーでは WCF で作成された RESTful サービスを使用しています。

とにかく、サーバーが処理できるリクエストの数をテストできるベンチマークツールはありますか、または遅延を引き起こすことなく処理される1秒あたりのリクエストの最大数を決定する他の実用的な方法はありますか?

ありがとう！

なぜ人々は、言語ベンチマークのためにフィボナッチ数列で数を見つけるような些細な数学的問題を使用することに固執するのでしょうか? これらは通常、相対論的な速度に最適化されませんか? 通常、ボトルネックの矢面に立つのは、I/O、システム API 呼び出し、文字列と構造体の操作、大量のデータの処理、抽象的なオブジェクト指向のものなどではないでしょうか?

携帯電話からデータを受信して​​データベースに保存するサービスを作成しています。

電話機は 250 ミリ秒ごとにデータを送信しています。データ保存の遅延が増加していることに気付いたので、WireShark を実行してログも書き込もうとしました。

携帯電話からの Web リクエストが遅延なく行われていることに気付きました (WireShark で確認) が、サービス ログでリクエストが 1 秒半またはほぼ 2 秒ごとに受信されていることに気付きました。

問題がどこにあるのか、またはそのような遅延の原因をテストして特定する方法を知っている人はいますか?

WCF (webHttpBinding) でサービスを作成しており、データベースは MS SQL です。ちなみに、ログにはhttpリクエストの時間と、データベースにデータを書き込んだ時間も保存されます。前述のように、リクエストは 1.5 ～ 2 秒ごとに受信され、その後、データをデータベースに保存するのに 50 ミリ秒かかります。

ありがとう！

このことを考慮：

必要条件：

標準のforeach：

組み込みのforeach：

私はそれらを互いにタイミングを合わせてみましたが、組み込みのforeachは最大2倍高速で、かなりのようです。

グーグルで検索しましたが、答えが見つからないようです。

また、次の点についても説明します。.NETでは、「for」または「foreach」のどちらのループが高速に実行されますか？

私が知る限り、標準のforeachよりも速く実行されるようには動作しません。