javascript - Intern を使用した自動 JavaScript テストがランダムに失敗する

Question

Intern を使用して、Vagrant を使用して起動された Ubuntu VM に対して、アプリケーションの一連の機能 JavaScript テストを実行しています。

各テストは、何らかの UI 出力を生成するデータ ファイルを使用して自身をブートストラップします。各テストは、単独で正常に実行されます。実際、多くの場合、テストは一緒に正常に実行されます。

ただし、テストの選択に失敗する場合があります。現在、Chrome と Firefox に対して実行されている 16 のテストがあります。16 のテストのうちおそらく 4 つの失敗のリストが表示されることは珍しくありません。これらのテストを小さなスイートに分離してツールを再実行すると、テストは再び成功します。

理論的には、テストは互いに個別に分離されており、実際の失敗の数はこれを実行するたびに変化するため、あるテストが別のテストに影響を与えているという欠点はないと思います。テスト用のプラットフォームを提供するサーバーは、非常にリソースが豊富なマシンでローカルに実行されています。

より信頼性の高い結果が得られるように、テストを作成する方法や Intern を実行する方法はありますか?

Answer 1

スイートとして一緒に実行すると、テストがランダムに失敗する原因を発見しました。テストの 1 つで、[Shift] や [Ctrl] などの修飾キーを使用しました。WebDriver に関する限られたドキュメントには、keys コマンドについて次のように記載されています。

キーを押します (コマンドの最後でキーがまだ押されている場合があります)。

時々、このコマンドが修飾キーを押したままにして、チェーンの次のテストのためにアクティブにしたようです。他のテストでは [Tab] シーケンスを使用して特定のページ要素に到達し、[Shift][Tab] でページを逆方向に移動するため、スイート内の位置によってはテストが失敗していました。

タイミングに関する問題はまだありますが、ランダム障害の状況はこの問題に切り分けられています。