問題タブ [test-runner]

私たちのソリューション (EF4、WCF、MVC2) では、非常に大量の T4 コード生成が行われており、EF4 のものをはるかに超えています。実際、多数のサービスも生成しています。この動作は非常に簡単に予測できるため (そうでなければ、コードを生成できませんでした)、この生成されたコードの多くのテストを予測することさえできます。そのため、多数の nUnit テストも生成します。

生成されたコード、サービス、テスト、およびすべてのテンプレートを理解できる限り、これを行うことを考えるのは簡単に思えます。それは難しい部分であり、私たちはこれをマスターしました. しかし、チームを拡大し、方程式にいくつかの不適合が追加された今、これに伴ういくつかの問題があることを知り始めています. 具体的には、どのテスト ランナーがこれらのテストでうまく機能するかを説明します。

これは私の質問につながります: このシナリオをサポートする一般的なテスト ランナーを一覧表示するリソースはありますか?

これまで見てきたことは、特定のテストまたはクラスのテストを実行すると、ほとんどすべてのテストが機能するということです。フォルダー内ですべてのテストを実行すると、通常、実行されるテストは 0 になります。プロジェクトまたはソリューション内ですべてのテストを実行する場合、これはテストランナーによって異なります (TestDriven.net がそれらを実行している間、Re​​Sharper はそれらをスキップします)。

作業できるテスト ランナーとできないテスト ランナー、およびその方法を特定するために、自分ですべての発見作業を行う必要がないように、助けていただければ幸いです。

最終的には、テスト ランナーが特定のコンテキスト (フォルダーとプロジェクト) 内でテストを検出する方法に問題があるのではないかと思います。生成された .cs ファイルは実際にはフォルダーではなく .tt ファイルの子として存在するため、この検出アルゴリズムで問題が発生するようです。このような場合は、協力したい製品チームと連絡を取り、このシナリオをサポートするように依頼する必要があると思います. 残念ながら、これが本当の答えだと思います。:-(

resharper でテスト ランナーを使用して nunit テストを実行すると、OutOfMemory 例外が発生します。

テストスイートが実行されると、スイートの実行中にメモリが消費され、テストのセット全体が完了したときにのみメモリが解放されるようです。そのため、複数のアセンブリから一連のテストを実行しても、それらの集合的なメモリ フットプリントが消費され、最後に解放されるだけです。

テスト ランナーがより頻繁にメモリを解放する方法はありますか? 私たちは755回のテストについて話していますが、これは過剰とは思えません. この問題は、Rhino.mocks と、この一連のテストで作成されたすべてのモック リポジトリ割り当ての使用に関連していると思います。

注: Resharper 5.1、Rhino.Mocks、VS2010、NUnit 2.4.8 を使用

ありがとう、ジョン・シャンク

カスタム NUnit テスト ランナーを作成してアプリケーションに統合しようとしていますが、TestRunner オブジェクトを作成していくつかのテストを実行することができました。次に、テストで使用するデータを TestRunner に渡すことができるようにしたいと考えています。

現時点では、IService を実装するクラスを作成し、インスタンスを NUnit ServiceManager クラスに追加しています。セットアップ メソッド、テスト メソッドなどは、ServiceManager.Services を使用してオブジェクトを特定し、データにアクセスできるようにします。

これは機能しているようですが、これが正しい方法であるかどうか疑問に思っていました。これを行うためのより簡単/単純/より良い方法はありますか?また、どのような落とし穴に注意する必要がありますか?

敬具

マイケル

このテストはローカルで動作しますが、aws ci インスタンスの Play テスト ランナーから実行すると、Firefox で次のアクセス許可エラーが発生します。

Chrome では、リモート メッセージは異なりますが、同じ根本的な理由を感じます。オブジェクト <> にはメソッド 'getCurrentWindow' がありません。

この問題ですか？http://code.google.com/p/selenium/issues/detail?id=703

R＃（5.x）テストランナーに現在のファイルのすべてのMSpec仕様を実行するように指示する方法はありますか？

VisualStudioテストランナーのCtrl+++ショートカットのようなものが、ショートカットであれコンテキストメニューコマンドであれ、私が求めているものです。RCtrlT

ポインタはありますか？提案？意見 ?

私はここにドラフト仕様があると考えています:

1. 個々のテスト メソッドを実行できます
2. 単一のテスト クラスを実行できます
3. XML での結果
4. HTML の結果
5. ドライラン
6. 各テスト ケースの所要時間と全体の時間を計算して表示します。
7. テスト ケースのタイムアウト
8. TAPタイプの試験結果
9. ログレベル
10. スケルトン テスト ケースの作成
11. カバレッジ
12. リモートホストで実行できる (おそらく)
13. テストレポート
14. コマンド ライン ヘルプ (--help)

さて、どこから始めますか？

WPFアプリケーションでMSTestManagerを使用してテストの自動化をいじってみると、ツールを記録している間、必ずしもマウスのクリックやホバーの形でユーザー入力を記録するのではなく、実行されているコンテキストに応じたアクションを記録することに気付きました。 。

わかりやすくするために、いくつかの例を示し
ます。1.）ボタンをクリックすると、「「ボタン1」ボタンをクリック」と記録されます。
2.）コンボボックスをクリックすると、「「cboBox1」コンボボックスをクリック」と記録されます。
...「cboBox1」コンボボックスで「blah」を選択します。
3.）スライダーをクリックすると、「スライダー1のスライダーに位置「2」を設定してください」と記録されます。

これらはバターの場合には問題ありませんが、UIがMouseEnter / MouseHoverなどのイベントに依存している場合、自動化は不可能のようです。

たとえば、マウスの位置に依存する制御を自動化することは可能ですか？それとも、これはテストランナーの機能のコンテキスト外ですか？

私はグーグルでテストスクリプト（powershell / spec / nunit / msbuild）をいじってみました。コードを監視し、ソリューションのためにすべてのテストを継続的に再構築して再実行するテストランナーを探しています。現在、コードのリアルタイムコンパイル分析を備えたResharper、resharperテストランナー、およびテスト駆動型.Netを使用しています。

ソリューションが自動的にコンパイルされ、テストが実行され、赤/緑のドットが付いたレポートが表示された場合（ハイパーリンクが表示されたレポートも表示される場合もあります）、これは理想的です。

編集：私は探していたものを正確に見つけました：私が見つけたツールは私がしたいことを正確に実行します：http：//www.ncrunch.net/これは広告ではありません。

また、ショートカット（cntrl + shift + q）を使用したTestDriven.Netは非常にうまく機能します。

Eclipse 内から Apache 軸統合テストを実行するには、Eclipse Junit テスト ランナーで -noloading オプションを設定する必要があります。誰も私がこれを行う方法を知っていますか??

私はEclipseバージョンを使用しています:3.5.1

私のコードは、その奥深くでシングルトン パターンを使用するサード パーティのライブラリを使用しています。最初のアクセス時に、ライブラリは Windows 環境変数を使用して、ロード元の構成フォルダーを識別します。

ただし、単体テストのさまざまなセットでさまざまなフォルダーに対して実行したいと考えています。理想的には、すべての単体テスト クラスなどの構成フォルダーを指定します。

サード パーティのライブラリは巨大なオブジェクト モデルであり、私のコードはそれらの上にある拡張メソッドのセットにすぎません。ライブラリ全体を簡単にモックアウトする方法はありません。

テスト クラスごとに新しい appdomain を作成する方法はありますか? ロード テストには、実行中のテスト アセンブリ間にドメインを作成するための設定があることを知っています。私の場合、それは多くのアセンブリになり、単体テスト testrunner でこの設定を設定できるかどうか、またはどのように設定できるかはよくわかりません。

または、Typemock Isolator または JustMock のいずれかを購入して、シングルトンが「null」を返すようにすることを検討しており、その結果、サードパーティのライブラリが新しいものをロードします。逆コンパイルされたコードを調べたところ、目的の結果が得られたようです。もちろん、そこにはもっと「いいもの」が隠されているかもしれません。

これらは不自然なアプローチです。私が本当に望んでいるのは、テスト、テスト クラス、またはテスト アセンブリ間で完全な appdomain を "フラッシュ" することです。

自動テストで構成フォルダーを切り替える必要がある場合は、速度を犠牲にしてもかまいません。red-green-refactor サイクルには、おそらく複数の構成フォルダーが含まれることはありません。

これを達成する方法について何か提案はありますか?

EDIT 異なるテスト アセンブリによってシングルトンが消去されることを発見しました。したがって、テストの対象となる依存関係や問題のドメインではなく、実行する構成に従ってテスト アセンブリを整理することができます。