問題タブ [vstest]

ビルド システムに SonarQube を統合しています。ビルド エージェントに sonar-runner-2.4 をインストールし、各ソリューションの sonar-runner.properties を (TFS のソリューションのフォルダーに) 追加しました。ビルドを実行するとき、ソリューションがビルド エージェントでコンパイルされた後にソナー ランナーを実行しています。単体テストを除いて、すべてが機能しているようです：

ビルドのログには、ほぼ 200 のテストが実行され、正常に完了したことがわかります。ソナー ランナーのログには、次のように表示されます。

これは問題ないと思いますが、ソナー サーバーにログインすると、0 個のテストが実行されたことが示されます。

sonar-runner.properties ファイルで、次の値を設定しました

この場合、ビルド エージェントの次のローカル パスに 3 つの vstest trx ファイルがあります。

D:\sTFS\22965\Sources\TestResults

` (添付の TestResults.jpg を参照)。添付されているのは sonar-runner.properties ファイルです。sonarqube サーバーからのスクリーン キャプチャも添付しました (添付の SonarServer.jpg を参照)。

何が問題なのか教えてください。

私のプロジェクトでは、VS2012 の teststack white で作成されたいくつかの ui テストがあります。これらのテストでは、マウスを制御する必要があります。手動で実行するとmstestまたはvstest.consoleでテストが実行されるbatファイルがありますが、 jenkinsから実行すると、local.runsettingsが見つからないと表示されます（vstestconsoleで実行した場合、ファイルは同じ場所にありますmstest で実行すると、アプリと mstest プロセスが開始されますが (タスク マネージャーで確認すると)、画面には何も表示されません。また、ジェンキンスで mstest プラグインと vstest プラグインを試してみましたが、同じ効果があります。

何が問題ですか？私は何をすべきか ？

CI サーバー (TFS 2013) 上の vstest テスト ランナーによって生成された trx ファイルにアクセスする方法が必要です。これにより、Pickles (trx を読み取るツールhtml テスト結果ファイルを出力します。) 私はそれを行う方法を理解することができません。.runsettings ファイルを使用して、いくつかの方法でビルド定義を変更しようとしましたが、まだ運がありません。試行するたびに、テスト結果フォルダーは空になり、その中に trx ファイルはありません。以下のようにローカルマシンで実行できます

ただし、ビルド定義ではテスト dll ファイルの指定しか許可されておらず、/Logger:trx などのスイッチを指定する方法がないため、CI サーバーでそれを行う方法を理解できません。実行可能なアプローチは高く評価されます。

私は、コード化された UI テストに合格したテスト (プログラム コードを調整するために作成されたテスト) を作成することを任されましたが、いくつかの一貫して失敗するテストで興味深い問題が発生しています。これらの「失敗した」テストを個別にテストすると、問題なく合格します。テストの順序を変更して、状況が改善されるかどうかを確認したいと考えています。[TestInitializer] は最初からプログラムを開始するように設定されていますが、vstest.console.exe を使用して Windows Server 2012 を搭載した別のマシンですべてのテストが一緒に実行されている場合、開始されません。テストの順序をいじることができれば、少なくとも発生している失敗のいくつかを回避できると思います。*.orderedtest が表示されますが、そこにテストされているすべてのテストが含まれているわけではないようです。いじるエリアです。どんなアドバイスでも大歓迎です。

ありがとう！

vstest.console.exe を使用してテストのリストを実行するにはどうすればよいですか? .vsmdi 形式はテスト リストを指定する方法を提供していましたが、その形式は非推奨 (?) です。

コマンド ラインでテストの明示的なリストを実行できます。これは、基本的にはまさに私がやりたいことですが、if テストの数が多い場合 (たとえば数百)、コマンド ライン スペースが不足します。

vstest.console.exe をだまして、他の方法で定義されたテストのリストを実行させる方法はありませんか?

（編集：強調）

注: テスト コードを変更したくありません。たとえば、テスト カテゴリの属性を追加したり、名前の一致によってサブセットが選択されるように命名スキームを変更したりします。テストのリストを実行するために必要です。

私が考えることができる最善の方法は、コマンドラインの最大長に収まる限り多く実行し、セットが完了するまで繰り返してからマージすることです。しかし、従来の vsmdi リストなどをロードする方法があれば、はるかに簡単になります。

DotTrace を使用して、TeamCity のテストをプロファイリングできます。ただし、この例は NUnit で動作しますが、私のテストは Visual Studio Tests で記述されています。テストを実行するときは、組み込みのテスト エンジン VSTest を使用しますが、DotTrace プロファイラー プラグインではそのようなオプションを使用できません。代わりに、テスト エンジンの実行可能ファイルのパスを指定する必要があります。

実行可能な VSTest.exe を見つけましたが、そのパスには "Microsoft SDKs\Windows Phone\v8.0\ExtensionSDKs" が含まれているため、当然ながら機能しません。その.exeファイルには実際には存在しないstart.batファイルが見つからないと言っています。

TeamCity が VSTest に使用する実行可能パスは何ですか?

次に、そのテスト エンジンを使用するようにパフォーマンス テストを構成できます。Visual Studio で実行した DotTrace を使用してテストを実行できることはわかっていますが、TeamCity プラグインがある場合、そこに Visual Studio と DotTrace プラグインをインストールしたくありません。

Visual Studio を使用しているローカル マシンではテストが成功しているが、CI ビルドが TFS サーバーでテストを実行すると失敗するという問題が発生しています。

失敗している行と、コンテキストの前の行を次に示します。

ARGUMENT MATCHERSがないことに注意してください。テスト全体で1つもありません。

TFS は次のエラーを返します。

NSubstitute.Exceptions.UnexpectedArgumentMatcherException : 引数マッチャー (Arg.Is、Arg.Any) は、メンバー引数の代わりにのみ使用する必要があります。Returns() ステートメントや、メンバー呼び出し以外の場所では使用しないでください。

一言で言えば、エラーは発生しているときは一貫しているように見えますが (同じエラー)、ランダムに発生するか発生しないようにも見えます。

たとえば...元のビルドが失敗した後、後続の同一のビルドをキューに入れた後、成功しました。ただし、その時は、異なるが類似した誤ったエラーで異なる構成で同じビルドを試みたときに失敗しました:

NSubstitute.Exceptions.AmbiguousArgumentsException : 使用する引数の指定を決定できません。

参考までに、TFS 2015 と VS 2015 を使用しています。