問題タブ [vstest]

CI ジョブとして一緒に実行する単体テストの新しいスタックをまとめています。mstest.exe の代わりに vstest.console.exe を使用しているのは、主に複数のフレームワークからテストを実行する機能のためですが、現在はいくつかの xUnit dll に焦点を当てています。ジョブは、Jenkins パイプラインの一部として実行されます。

私はいくつかの開発ボックスですべてを正常にテストしましたが、厄介なことに、これまでのところどの CI ビルド ボックスでもテスト検出が機能していません。これは、0.99.8 xUnit テスト アダプター vsix (0.99.7 でもテスト済み) の追加後です。xUnit dll は、xUnit の 2.0.0.2378 ベータ nuget バージョンを使用して 4.5 に対してビルドされています。

私は、可能な限り単純な dll を使用して症状を再現しました。単一のパブリック テスト メソッドを使用して、自分のボックスで正常に動作し、ビルド ボックスでは動作しませんでした。Windows 2012 に VS2012 をインストールし、xUnit テスト アダプターを使用すると、デプロイ環境は非常に簡単です。

vstest exe 構成ファイルを介して TpTrace ログを有効にしましたが、すべて問題ないようです。問題をさらにトラブルシューティングする方法 (おそらく xUnit 検出プロセスのトレース) または問題の回避策を探していると思います。複数のフレームワークを簡単に実行できるように、vstest コンソールの使用を維持したいと思います。

この問題については、xUnit codeplexサイトにも書きました。

私はこのSOの投稿をチェックアウトしましたが、提案された解決策はどれもここでは意味がありません.

これは何度か尋ねられたかもしれませんが、明確で正確な答えを見つけることができませんでした

デフォルトのビジュアル スタジオ ユニット テスト エグゼキュータは何ですか? テスト エクスプローラー ウィンドウから単体テストの実行をトリガーするときに使用するものを意味します

また、Resharper とは何ですか (単体テスト セッションでトリガーされたテストから)?

特定のエグゼキュータを使用するように vstest.console.exe に指示するにはどうすればよいですか (私の場合、私が作成したカスタム エグゼキュータがあります)。エグゼキューターのリストを要求すると表示されます (強調表示されたテキスト):

c:\src\vstudio\PleskHostingIntegrationTests\bin>vstest.console.exe /ListExecutors /UseVsixExtensions:true Microsoft (R) テスト実行コマンド ライン ツール バージョン 12.0.30501.0 Copyright (c) Microsoft Corporation. 全著作権所有。

次のテスト実行アドインを使用できます。 Microsoft.VisualStudio.TestPlatform.Extensions.MSAppContainerAdapter.MSPhoneTestExecutor URI: executor://MSWPTestAdapter/v1 Microsoft.VisualStudio.TestPlatform.Extensions.OrderedTestAdapter.OrderedTestExecutor URI: executor://OrderedTestAdapter/v1 Microsoft.VisualStudio.TestPlatform.Extensions.VSTestIntegration. MSTestExecutor URI: executor://MSTestAdapter/v1 Microsoft.VisualStudio.TestTools.CppUnitTestFramework.CppUnitTestExtension.TestExecutor URI: executor://CppWPUnitTestExecutor/v1 Microsoft.VisualStudio.TestTools.CppUnitTestFramework.CppUnitTestExtension.TestExecutor URI: executor://CppUnitTestExecutor/v1 RetryRunner.RetryExecutor URI: executor://RetryExecutor Microsoft.NodejsTools.TestAdapter.TestExecutor URI: executor://NodejsTestExecutor/v1

しかし、vstest にこれを (他のものに対して) 使用するように指示するにはどうすればよいでしょうか?

vstest.console.exe がテストを実行しません。

コマンドラインを実行すると、次の出力が表示されます。

Microsoft (R) Test Execution Command Line Tool バージョン 11.0.60315.1Copyright (c) Microsoft Corporation. 全著作権所有。

注: MSTest を実行すると、テストが実行されます。

ただし、コマンドラインで mstest を実行すると、VS2012 TestExplorer でテストの失敗を再現できないにもかかわらず、テストの 1 つが失敗します。

MSDNによると、

*.testsettings ファイルを使用している場合、デプロイ フォルダーの使用を避けることはできません。このファイルは、Web テストとロード テスト、コード化された UI テスト、およびアプリケーションをリモート マシンにデプロイするすべてのテストに必要です。

ビルド出力フォルダーでテストを実行する必要があります。すべての依存関係をコピーするには時間がかかり、あらゆる種類の TDD や迅速なテスト修正の反復が非現実的になるからです。

また、実行に時間がかかりすぎるテストを中止して失敗を報告することも望んでいます。これまでのところ、これらのテストを TimeoutAttribute でマークするか、.testsettings ファイルを使用するかの 2 つのオプションしか見つかりませんでした。何千もの個別のテストに同じタイムアウトをコードに追加して維持することは実際的ではありません。ビルド出力フォルダーでテストを実行しているときにこれを行う方法はありますか? または、これをサポートするサードパーティのテスト フレームワークはありますか?