問題タブ [regression-testing]

違いは何だろうか。簡潔な説明が必要です。ウィキペディアは私には少し冗長すぎます。

私の義務は、中小企業のクライアント向けにPHPWebサイトをピックアップして開発を続けることです。プロジェクトにはテストコードがありません。サイトのバックエンドに対して、少なくとも非常に基本的な回帰テストをすばやく確立したいと思います。

1. Webページのcharからcharの全内容をテストする必要があります。失敗したテストの差分を確認する必要があります。
2. CookieとGET/POSTデータを設定できる必要があります。
3. 数日に1回、本番データベースからローカルデータベースを更新しています。次に、失敗したテストの概要を確認し、テストスーツをすばやく更新して、すべてが再び合格するようにします。

WatiNまたはSeleniumを使用するのは良い考えですか？私のローカル環境はLinuxです。

ASP.Net MVC プロジェクトがあり、MS Test や NUnit などのツールを使用してコントローラー層からデータベースまでの回帰テストを実行できると考えていましたが、テストが順番に実行されるように設計されていないという問題に遭遇しました ( MS Test で順序付けされたテストを使用できますが、テストは引き続き同時に実行されます)、もう 1 つの問題は、あるテストから作成されたデータを別のテストからアクセスできるようにする方法です。

私はSeleniumとWatiNを見てきましたが、UIレイヤーに依存しないものを書きたかっただけで、テストを維持するための作業量が増加する可能性が最も高い.

助言がありますか？それは仕事のための間違ったツールですか？Selenium/WatiN を使用する必要がありますか?

新しいバージョンのソフトウェアがリリースされるたびに、既存のすべてのテストケースを完全に実行する必要があります。非常に時間がかかります。コードベースの変更された部分を見つけて、それらの部分に関連するテストケースのみを実行することは可能ですか？そして、それらの変更された部分によって影響を受ける回帰テストのみを実行します。

そのためのツールを書きたいです。そして、私はそれを可能な限り自動化したいと思っています。

難しいことではありません。そして今のところ、.NETマネージコードのみが考慮されています。または、そのための既存のツールはありますか？

数日前、私はそこでインタビューに行きました。彼らは私に、回帰テストでテストするすべてのモジュールは何ですか？回帰テストで実行する必要のあるテストケースをどのように見つけますか？

一部のアプリケーション ドメイン (GameDev など) では、出力を生成するためにランダムな値を使用して多くの関数を作成する必要があります。例の 1 つを以下に示します。

この関数は、いくつかのランダム操作に基づいてアイテムのドロップを生成します。この関数の正確性を自動的に検証したい場合、問題が発生します。生成された値は決定論的ではなく、回帰テストの作成は不可能のようです。

私の質問は次のとおりです。

1. このタイプの関数に対して有用な回帰テストを作成することは可能ですか?
2. この場合、他のタイプのテストを作成するための一般的なアプローチはありますか?

アプリケーションの統合/回帰テストスイートを実行する必要があります。アプリケーションは、1日の時間帯によって動作が異なるはずです。他のアプリがシステム時刻に依存しているため、システム時刻を変更できません。この目的のために、DateTime.Nowをモックしたいと思います。ただし、メインメソッドにモックを入れると、例外がスローされました。同じアプリケーションのnunitテストでモックを使用すると、正常に機能します。typemockは、単体テストのコンテキストでのみ使用できますか？とにかく、モックを有効にしてソリューションを実行できますか？TMockRunner.exeでもソリューションを実行しましたが、同じ問題が発生しました。

ありがとう！

Travisが@TravisIlligに言及したメソッドを使用して実行すると、このエラーが表示されます。ラッパーのコードは次のとおりです。

どんな助けでもありがたいですありがとう！

次の Java クラスを想定します。

expressionこれは式言語 (DSL) のインスタンスであることに注意してください。したがって、expression使用の評価はdata、両方の組み合わせによって異なります。通常、は頻繁には変更されず、すべての呼び出しで変更される可能性expressionがある固定値です。data

さて、しばらくして にバグが見つかりましたMyClass.methodA(String,String)。このバグは、いくつかの基になるクラスに存在し、 と の特別な組み合わせでのみ発生しexpressionますdata。JUnit テストは、この特殊なケース用に簡単に記述でき、修正することができます。

残念ながら、この方法はプロジェクト全体で頻繁に使用されます。Eclipse 呼び出し階層は、このメソッドが使用されている 97 を超える他のメソッドを識別します。バグ修正を適用しただけでは、リグレッションが怖いです。より安全に感じるために、いくつかの回帰テストを行いたいと思います。

通常、単体テストでは、すべての重要な種類の呼び出し、特にボーダー ケースを考慮する必要があります。しかし、expression大きく変化する可能性のある DSL と同様に、すべての潜在的な使用法をテストすることは容易ではありません。さらに、これらのテストでは、バグに依存する誤った使用法を特定することはできません。

したがって、私の考えは、次の方法で進めることです。

1. このメソッドのすべての呼び出しを検索し (Eclipse で「呼び出し階層」を使用するように)、 のすべての値を抽出しますexpression。

2. (データベースなどから)の実際の値を十分にサンプリングdataし、元のバージョンの を使用して、最初のステップからすべての式を相互評価しますMyClass.methodA(String,String)。トリプル(data, expression, result)をファイルに保存します。

3. バグ修正を実装。

4. 上記のファイルを使用してメソッドをテストMyClass.methodA(String,String)し、結果が変わっていないことを確認します。

次の質問:

このアプローチについてどう思いますか？

Eclipseで呼び出し階層を使用すると、呼び出し元のメソッドのみをコピーして貼り付けることができますが、クリップボードへの引数を含む正確な呼び出しはできません（ステップ1を参照）。見つかったメソッドごとに呼び出しを手動でコピーする必要があります。便利な方法で呼び出しを抽出するにはどうすればよいですか (完全な Eclipse ワークスペースで、したがっていくつかのプロジェクトで)。

IMHO私は1つの方法のみをテストしているため、テストは1つのユニットのみをカバーしています。ステップ 4 で JUnit を使用しても問題ありませんか、それとももっと洗練されたものがありますか?

サービスをテストするために、機能/回帰テストシステムを実装しています（アプリはクライアント/サーバーアーキテクチャを使用してセットアップされています）。

どうやって始めますか？テストケースを作成しますか？新機能を開始するのはどうですか？すべてのテストケースが1つのファイルにまとめられますか（mochaとnode.jsを使用しています）？

テスト スイートで一緒に実行したい 2 つのテスト ケース (2 つの異なるファイル) があります。pythonを「通常どおり」実行するだけでテストを実行できますが、python-unitテストの実行を選択すると、0個のテストが実行されます。現在、少なくとも 1 つのテストを正しく実行しようとしています。

これが私のテストケース設定の例です

この作業を正しく行うにはどうすればよいですか?