問題タブ [code-coverage]

TestNG 単体テストのコード カバレッジを分析するための Eclipse プラグインについて知っている人はいますか?

開発中の単体テスト済み DLL に対して VS2008 のコード カバレッジを実行しています。一部の機能については、2 つのブロックがカバーされておらず、50 ほどのブロックがカバーされていると主張しています。VS2008 を強調表示して関数を表示すると、カバーされていないブロックが見つかりません。

強調表示は一部の機能で機能するように見えますが、カバーされていないブロックの色が正しく表示されるためです。矛盾しているようです。

これはバグですか、それとも PIBKAC ですか? 後者の場合、私は何を間違っていますか？

私は最近コードカバレッジツール（特にEmmaとEclEmma）を使い始めましたが、単体テストの完全性と、単体テストがコードのどの領域にないかを確認できるという見方が本当に気に入っています。まったくヒットしません。私は現在、単体テストをあまり行わない組織で働いています。私は、すべての人に単体テストとコードカバレッジ、およびTDDを実施し、できれば組織を変換するように促す予定です。

このテーマについて私が確信していない問題の1つは、コードカバレッジをどこまで実行する必要があるかということです。たとえば、次のようなクラスがある場合：

equals()正しく機能すること、期待どおりの結果が得られることなどを確認するために、いくつかの簡単な単体テストを作成しgetValue()ました。しかし、EclEmmaの視覚的な性質のおかげで、hashcode()メソッドは「テストされていない」場合は明るい赤で表示されます。

hashCode()この例では、実装がいかに簡単であるかを考えると、わざわざテストする価値がありますか？このメソッドの単体テストを追加して、コードカバレッジを％向上させ、EclEmmaがこれらの行に追加する明白な赤いハイライトを取り除くように感じます。

神経症でOCDに似ているかもしれませんが、EclEmmaのようなものを使用すると、テストされていないものを簡単に確認できます。プラグインはソースコードを赤で強調表示し、カバーされたコードは緑で強調表示します。できるだけ多くのクラスを100％グリーンにするようにプッシュします-それがあまりメリットをもたらさない場合でも。

JMockitをモックフレームワークとして使用するテストを使用して、 EMMAでコードカバレッジレポートを生成しようとしています。ほとんどの場合は機能しますが、次のように、いくつかのテストがClassFormatErrorでクラッシュします。

何が起こっているのか、そして私が問題を解決できるかどうかについて何か考えはありますか？または、EMMAとJMockitは相互に排他的ですか？

私はコード カバレッジに EMMA ツールを使用していますが、最善の努力にもかかわらず、EMMA は元の .java ファイルを参照して行ごとにカバレッジを生成することを拒否しています。

ANT を使用してコードをビルドし、debug を true に設定します。.emma ファイルが正しく生成およびマージされているように見えるため、EMMA がカバレッジを測定していることはわかっています。レポートは、高レベルのメソッド カバレッジをパーセンテージで表示できます。

しかし、なぜ .java ファイルが表示されないのでしょうか? 私が得るのは次のとおりです：[ソースファイル 'a/b/c/d/e/f/code.java'がソースパスに見つかりません]

私はすでにPreferred Python unit-testing framework にアクセスしました。Python Unit Testing Framework だけでなく、単体テストに関するコード カバレッジも検討しています。これまでのところ、 coverage.pyにしか遭遇していません。より良いオプションはありますか？

私にとって興味深いオプションは、cpython、Python コードの単体テスト、および Python コードのコード カバレッジを、プラグイン ( IronPython Studioに似たもの) を介して Visual Studio 2008 に統合することです。これを達成するために何ができるでしょうか？提案を楽しみにしています。

特に低価格のセグメントでは、.NET（または具体的にはC＃）コードカバレッジにはどのようなオプションがあるのでしょうか？

私は推奨事項を探しているのではなく、事実に基づいた製品の比較を探しています。私は次のことを知っています：

• NCover
  • とても人気があるようで、とてもよく見えます
  • ステートメントカバレッジとブランチカバレッジをサポートします
  • 「NCover3Complete」は480ドル
  • 古いベータ版は無料で利用できます
• Visual Studio（2008 Pro）| （2005チームシステム（開発、テスト、またはチームスイートエディション））
  • まあ、それはマイクロソフトなので、私はそれが正しく動作することを期待しています
  • VisualStudioに完全に統合されています
  • 少なくとも5,469ドル
• PartCover-これ以上の開発はありません（OpenCoverに移動）
  • オープンソース
  • ステートメントカバレッジをサポート
• OpenCover -PartCoverの後継
  • オープンソース
  • ブランチとステートメントのカバレッジをサポート
  • 32ビットおよび64ビットのサポート
  • Silverlightのサポート
  • バックグラウンド
  • プライマリ開発者によるコードプロジェクトのチュートリアル
  • .NETCoreのサポートはまだありません
• SDテストカバレッジ
  • 32ビットおよび64ビットで動作し、完全なC＃4.0
  • 小さいコードベースと非常に大きいコードベースの両方を処理します
  • シングルユーザーライセンスで250ドル
• JetBrains dotCover
  • パーソナルライセンスは100ドル。ユーザーグループ、オープンソースプロジェクト、学生、教師は無料です。
  • ステートメントカバレッジをサポート
  • Silverlightのサポート

• NCrunch

  • 個人ライセンスは159ドル
  • コマーシャルシートライセンスは289ドル *ベータ期間中は無料、コマーシャルになるため、価格は不明、 将来は不明。
  • VisualStudioのコードカバレッジインジケーター
  • 継続的な（ほぼリアルタイムの）テスト
  • 視覚的なテストごとのコードカバレッジ
  • パフォーマンスメトリクス、並列マルチコアテスト実行

• NDepend

  • 開発者ライセンスは410ドル
  • NDependは、NCover、DotCover、VisualStudio2017からカバレッジデータをインポートできます。2015、2013、2012、2010、および2008のコードカバレッジファイル。
  • 依存関係グラフ
  • 依存関係構造マトリックス
  • コードメトリックの視覚化
  • コードルールの検証

API コード カバレッジの具体的な目標数を知りたい人に、どのような数字を付けますか?

更新：明確にするために、ステートメント/ラインコードのカバレッジ。具体的な数字はあまり意味がないことはわかっていますが、これは、具体的な数字はあまり意味がなく、何があっても数字を取得することを主張しているという状況のためのものです。API/SDK を具体的に書いたのは、より多くのインターフェイスが公開されているライブラリとは対照的に、アプリケーション/GUI レベルのソフトウェアでは、コード カバレッジが低い方が受け入れられると考える人がいるからです。

IDE内にJavaプログラム（この場合はEclipse）があるとします。ここで、プログラムを実行し、ある時点でプログラムを終了するか、自然に終了するとします。

どの行が少なくとも1回実行され、どの行が実行されなかったかを判断する便利な方法はありますか（たとえば、例外処理や到達しなかった条件）。

この情報を手動で収集する方法は、デバッグを常に実行し、少なくとも1回は通過した一連の行を維持することです。ただし、すでにそれを行っているツールやプロファイラーはありますか？

編集：明確にするために：プログラムでこの情報にアクセスできる必要がありますが、必ずしもJUnitテストからアクセスできる必要はありません。

現在、Rcovを使用して、作業中の Rails プロジェクトの C0 コード カバレッジ分析を取得しています。

ただし、これらの結果は実質的に無意味です。rcov によると (C0 分析のみをカバーしているため) 100% のカバレッジがあり、これまでに存在する機能のテスト ケースの半分しか書いていません。

私は、C1 カバレッジを持つ Visual Studio 2008 チームのコード カバレッジからの有用な結果に慣れています。ruby に同様のカバレッジを提供するツールはありますか?