私は、自分が管理しているアプリの自動回帰テストスイートに取り組んでいます。自動回帰テストを開発しているときに、ほぼ間違いなくバグであるいくつかの動作に遭遇しました。したがって、今のところ、失敗を登録しないように自動回帰テストを変更しました。つまり、この悪い動作を意図的に回避できるようにしています。
なので、このサイトの他の人の意見に興味があります。明らかに、このエラー動作が修正されることを確認するために、バグ追跡にバグを追加します。しかし、回帰テストを変更して常に失敗を示すようにするか、回帰テストを中断したままにして、欠陥のある動作を修正できるようになるまで失敗しないようにする説得力のある理由はありますか？私はこれを他のタイプの質問の6分の1と考えていますが、他の人がそれを異なって見るかもしれないと思ったので、ここで尋ねます。
@ポール・トゥームリン、
明確にするために、私はテストを削除することを考えたことがありません。テストを実行するたびに失敗が発生することなく、失敗を許容するように合格/不合格条件を変更することを検討していました。
既知の原因による繰り返しの失敗が、最終的にC++で警告のように扱われることを少し心配しています。私は、C ++コードに警告が表示され、それらが単なる役に立たないノイズであると考えているために単に無視する開発者を知っています。回帰スイートに既知の障害を残すと、他の、おそらくより重要な障害を無視し始める可能性があります。
ところで、誤解されないように、C ++での警告は強力なコードを作成する上で重要な助けになると思いますが、出会った他のC ++開発者から判断すると、私は少数派だと思います。