unit-testing - 自動化されたテスト ケースの実行 - いつ停止するか

Question

システムには約 100 のテスト ケースがあります。そのための自動テスト スイートを構築しようとしています。

テストの実行中に、25 番目のテストが失敗したとします。自動化されたテスト システムがここで抜け出して実行を停止するか、またはこれを失敗としてマークし、26 日以降もテスト ケースの実行を試行し続けるか (つまり、失敗したテスト ケースに関係なく、すべてのテスト サイクルで 100 個のテスト ケースすべてが実行されます)。

もちろん、失敗したテスト ケース (たとえば 25 番目) の後、テスト ケース 26 以降を実行するためにシステムをリセットする必要がある場合は、処理されます。

ありがとう

ジェームズ

Answer 1

テストが独立している場合は、すべてを終了する必要があります。このようにして、システムの安定性を監視し、何度もテストを再実行することなく、一度にすべての問題を確認できます。

Answer 2

これが人間の介入なしで実行されている場合、たとえば自動ビルドの一部として実行されている場合は、すべてのテストを試みたいと思います。

ただし、問題を修正するモードにあるシナリオでは、人間の時間を節約して停止することができます。簡単であれば、「最初の失敗で停​​止」オプションを提供したいと思います。