問題タブ [data-driven-tests]

データベースからのデータに依存する API をテストするためのベスト プラクティスは何ですか? ビルド プロセスの一部として単体テストを実行する "継続的インテグレーション" 環境で注意する必要がある問題は何ですか? つまり、ビルド スクリプトの一部としてデータベースを展開しますか (インストーラーを実行することもできます)、それともハードコードされたデータ [XML を使用した MSTest データ ドリブン ユニット テストを使用] を使用する必要がありますか?

ビジネスロジックレイヤーのデータレイヤーをモックできることは理解していますが、DAL の SQL ステートメントに問題があった場合はどうなりますか? データベースにアクセスする必要がありますよね？

うーん...それは質問の嵐です:)...考えはありますか？

RowTestMSTest がおよび同様のテストをサポートしていないことは知っています。

ユーザーは何をしMSTestsますか？RowTestサポートなしでどうやって生活できるの？

テスト機能を見てきましDataDrivenたが、オーバーヘッドが多すぎるように思えRowTestます。.で同様のテストを実行できるサードパーティのパッチまたはツールはありMSTestますか?

Linux の下で C++ で開発を行っており、自動テストをセットアップしようとしています。CppUnit や CxxTest などのテスト フレームワークを使用する予定です。ソフトウェアのビルドには Ant を使用しており、テストの実行にも Ant を使用します。

一部のテストにはデータベースへのアクセスが含まれるため、Java の世界での DbUnit (JUnit 拡張機能) のように、データベース内のテスト データの準備とクリーンアップのタスクを容易にするツールまたはフレームワークを探しています。

もう 1 つのオプションは、実際の DbUnit を使用することです。Java VM が利用可能です。DbUnit の Ant タスクを利用することが最も有望なようです。関連するフィールドレポートは大歓迎です！

一連のデータ値に対してそれぞれいくつかのテストを実行し、同じ条件がそれぞれに当てはまることを確認したいと思います。データは現在、フラット ファイルまたは単純な Excel スプレッドシートに保存されています。

私が最初に考えたのは、ファイルからデータをロードし、データ値ごとに 1 回テスト メソッドを呼び出すために使用される TestNG DataProvider を作成することでした。私の問題は、さまざまなテストがさまざまなファイルからデータをロードする必要があり、パラメーターを DataProvider に送信する方法がないように見えることです。 これが可能かどうか誰にもわかりますか？

理想的には、コードを次のようにしたいと思います (簡略化された例)。

DUnit が通常動作する方法は、いくつかの公開されたメソッドを記述し、DUnit がそれらをテストとして実行することです。やりたいことはちょっと違う。データに基づいて実行時にテストを作成したい。入力ファイルを処理して出力ファイルを作成する特定のモジュールをテストしようとしています。テスト入力ファイルのセットと、対応する既知の良好な出力ファイルがあります。アイデアは、入力を処理し、既知の適切なものに対して出力をチェックする、入力ファイルごとに 1 つのテストを動的に作成することです。

ただし、ここでの実際のデータ ソースは重要ではありません。難しいのは、DUnit をデータ駆動型の方法で動作させることです。この問題のために、データ ソースが単なる乱数ジェネレーターであると仮定します。以下に、問題の核心に迫る具体的な問題の例を示します。

実行時にいくつかのテスト オブジェクト (TTestCase など) を作成します。たとえば、10 個のテスト オブジェクトを作成します。

1. ランダムに生成された整数から実行時に名前が付けられます。(「名前」とは、テストランナー ツリーに表示されるテストの名前を意味します。)
2. ランダムな整数に基づいて成功または失敗します。偶数なら合格、奇数なら不合格。

DUnit の設計からは、このようなことが可能になるように十分な柔軟性を考慮して設計されているように見えます。私はそれがそうであるかどうかはわかりません。TAbstractTest と ITest から継承して独自のテスト クラスを作成しようとしましたが、いくつかの重要なメソッドにアクセスできませんでした。私も TTestCase から継承しようとしましたが、そのクラスは公開されたメソッドを実行するという考えと密接に結びついています (そして、テストはメソッドにちなんで名付けられているので、たとえば「go」と呼ばれるものを 1 つだけ持つことはできませんでした。すべてのテストは「go」と呼ばれ、すべてのテストに個別に名前を付けたい)。

または、代わりに、私がやりたいことができる DUnit に代わるものはありますか?

データ駆動型単体テストで使用する次の CSV ファイルがあります。

「ファイル」と「期待」はヘッダーです。しかし、次のようなコードで「ファイル」列を取得したい場合

エラーが発生します

System.ArgumentException: 列 'ファイル' はテーブルに属していません..

CSV ファイルを既存のテスト ケースにテスト メソッドのプロパティを介して追加すると、"ファイル" 列の名前の前に、エンコーディングの問題のように奇妙な兆候があるように見えます。しかし、メモ帳、メモ帳 ++、または TextMate (Mac の場合) で CSV ファイルを開くと、そのような兆候は見られず、それらを取り除くことはできません。

誰かがこの問題について提案してもらえますか?

最近、VS2008内で単体テストを実行する場合と、コマンドラインでmstestを使用して同じ単体テストを実行する場合にいくつかの不整合が発生しました。

私のシナリオは少し進んでいるので、おそらくいくつかのコーナーにぶつかったでしょう。同じデータソースに対して多くのデータ駆動型単体テストを実行しています。PostSharpを試すのも好きです。だから、私はPostSharpアスペクトを書きました---TestDataSourceユニットテストメソッドではなく、ユニットテストタイプに適用します。タイプが作成されると、このアスペクトはPostSharpにDataSource、タイプ内のすべての単体テストメソッドに属性をアタッチするように指示します。

Reflectorでビルドされたアセンブリを調べると、各テストメソッドが実際に正しいDataSource属性に関連付けられていることがわかります。コマンドラインでmstestを使用してテストを実行すると、期待どおりに動作します。各テストは、指定されたデータソースに対して実行されます。

ただし、VS2008でまったく同じ単体テストを実行しても、データソースを見つけることができません。これは、VS2008がビルドされたアセンブリを無視し、ソースコードを確認するかのようです。もちろん、DataSource属性はビルド中に挿入されるため、データ駆動型テストではないようです。

展開されたアイテムに問題はありません。テストに手動でアタッチするDataSourceと、VS2008でテストを正常に実行できます。

何か案は？

ASP.NET(C#)、ajax、および jquery のほぼすべての機能を使用して、セレンでデータ駆動テストを実行したいと考えています。C# を使用してデータ ドリブン テストを実行する方法、またはテストを実行できるデモを誰かに教えてもらえますか?

C# VS2008 で Xml データソースを使用して、データ ドリブンの単体テストを作成しています。

属性はこのようなもので、すべてがうまく機能します。

Microsoft.VisualStudio.TestTools.DataSource.XML データソースの機能を拡張したいと考えています。できれば App.config で構成できます。たとえば、bool が true の場合は Xml ファイルのすべての行を処理し、false の場合は 1 つのみを処​​理します。

テスト ケース自体でこのチェックを実行したくありません。この要件を持つテスト ケースが数千あります。

これを達成する方法についてのガイダンスをいただければ幸いです。