CodedUI を使用して、Ranorex (5.4.2)、VSO 2013 (TFS)、および VS 2013 を専用の自動化サーバーにリンクする自動テスト フレームワークがあります。テスト ケース ID の昇順で並べ替える MTM のクエリによって決定された順序でテストを実行し、最近まで正常に実行されていました。
MTM テスト実行ログは、テスト ケース ID の正しい昇順でスケジュールされていることを示しています。この画像では、9 行目のテスト ケース ID 607 から 10 行目のテスト ケース ID 624 までのテスト ケース ID シーケンスを確認できます。
先週、クエリ内のテストの順序は変更されていませんが、MTM でテストの実行が準備されているときにテストの順序が変更されていることに気付きました。
この 2 番目の画像では、シーケンスが 9 行目のテスト ケース ID 607 から 10 行目のテスト ケース ID 25285 に変更されていることがわかります。後のテストの一部は、以前のテストで生成されたテスト データに依存しているため、テストが本来よりも早く実行されているためにこのデータが利用できない場合に失敗するため、これが問題を引き起こしています。
クエリ内の一連のテストに変更はなく、新しいテストも追加していませんが、開発者は最近、これが発生し始めた頃にVisual Studio 2013 Update 5をインストールしました。
誰かが以前にこの問題に遭遇したことがありますか、またはこの最近の VS の更新が原因であるかどうかを知っていますか? 私は狩りをして狩りをしましたが、他のサイトで同様のものを見つけることができませんでした.
更新 少数のテストを実行して、これをさらに調査しました。
ログの 10 行目で、テストの実行中に再びシーケンスが乱れます。13 行目には、10 行目にあるはずのテストが含まれています。
この問題を前進させる方法についてのアイデアが尽きたので、どんな助けも大歓迎です.