問題タブ [mutation-testing]

突然変異テストの実際の応用例はありますか? 単純なテスト カバレッジ ツールよりもうまく機能しますか? それとも駄目ですか？

実世界での突然変異テストの利点と欠点は何ですか?

別の質問で、ミューテーションテストが実際に役立つかどうか尋ねました。満足できる答えが得られなかったので、自分で現在のツールを確認したいと思います。したがって、現在の既存のミューテーションテストフレームワークについての概要が必要です。それらのどれが最も使用可能であり、なぜですか？

• 私はJavaでプログラミングしているので、Javaツールを好みますが、さまざまな言語の興味深いフレームワークを検討するリスクがあります。
• 自動ビルドプロセスに統合したいので、コマンドラインから実行できるツールを使用したいと思います。

現在test/unitを使用しており、rspecの使用を検討しています。しかし、rspecは現在、ruby 1.9.1 で heckle をサポートしておらず、対象のモジュール/クラス/メソッド以外で heckle にパラメーターを渡すことをサポートしていないことに気付きました。

heckle と rspec を使用することに関して、現在他に問題はありますか? または、これら 2 つの問題を除けば、それらはうまく連携しますか?

また、しばらくテスト/ユニットを使用する場合、キュウリで使用することを検討する必要がありますか?

編集: 1.9.1 の問題は rspec のせいではありません。解析ツリーは ruby​​ 1.9.1 で実行できないため、ruby 1.9.1では heckle を実行できません。

ミューテーション テストで発生する問題の 1 つは、生成された各ミューテーションに対してデフォルトで完全なテスト ラン (テスト ファイルまたは一連のテスト ファイル) を実行するため、速度が遅いことです。

ミューテーション テストを高速化する 1 つの方法は、単一の障害が発生した場合に特定のミュータントのテスト実行を停止することです (ただし、ミューテーション テスト中のみ)。ミューテーションテスターが、最後のミュータントを殺す最初のテストが何であったかを覚えておき、それを最初に次のミュータントに与えるとさらに良いでしょう。これらのことのいずれかを実行するルビーはありますか、それともモンキーパッチを開始するのが最善の策ですか?

(はい、単体テストは高速であるべきだと思います。また、失敗したすべてのテストを表示することは、突然変異テスト以外でも役立ちます。何かが間違っていることを特定するだけでなく、どこが間違っているのかを特定するのにも役立ちます)

編集：私は現在、テスト/ユニットでやじを使用しています。テスト/ユニットが実行中にどのテストが失敗したかを覚えておくことができない場合は、やじまたは実行中の何かがそれを覚えている可能性があります。

少し前に、「mangler」や「executor」などの「クレイジー」な名前のいくつかの Ruby ツールをホストするページにたどり着きました。ツールの仕事は、テストが正確であることを証明するために、(実行時に) 本番コードを変更することでした。

残念ながら、そのツールをもう一度見つけたいと思っていますが、それが何と呼ばれていたか思い出せません。何か案は？

突然変異テストを使用して、欠陥削減の観点から TDD を改善することはできますか?

他の言語よりも一部の言語でミューテーション テストを実装するのが難しい (または不可能) ことはありますか? たとえば、関数型プログラミング言語で突然変異テストを実装することは可能ですか?

ミューテーションテストはしばらく前から行われており、C /C++用の商用ミューテーションテストフレームワークが少なくとも1つまたは2つあるようです。それらを使用しましたか？あなたの経験は何ですか？オープンソースの代替手段はありますか？

私たちのプロジェクトは、ビルド サイクルの一部としてミューテーション テストを統合します。現在、評価段階にあります。

これまでのところ、Jester に maven-plugin (Grester) があることがわかりました。利用可能な他のミューテーション テスト ツール (Jumble、µJava、および Javalanche) については何も見つけることができませんでした。もちろん、完全な Maven 統合が必要です。車輪の再発明はしたくありません (つまり、選択したツール用に独自の Maven プラグインを作成します)。

Jumble、µJava、Javalanche の Maven プラグインをご存知ですか? 私はすでにグーグルで検索しましたが、先ほど言ったように、Grester しか見つかりませんでした。また、Java 用の他のミューテーション テスト ツールを知っている場合は、ヒントをいただければ幸いです。

ミューテーションテストのさまざまなアプリケーションは何ですか？