問題タブ [acceptance-testing]

受け入れテストを行いたいプログラムがあります。
入力は、さまざまな「タスク」を含む XML ファイルです。
出力は、結果を含む別の XML ファイルです。

受け入れテストを自動化するためのベストプラクティスは何ですか?
おそらく、入力ファイルと出力ファイルのペアを保存し、入力に対してプログラムを実行し、結果を提供された出力と比較する必要があります。
Ant はこのタスクに適していますか?
受け入れテストはすべてのまれなケースをカバーするか、機能が一般的に機能していることのみをテストする必要があります。
Java での受け入れテストに関するその他のヒントをいただければ幸いです。

統合/機能/受け入れテストは、実行に時間がかかる、一貫してグリーンを維持するのが難しい、一見ランダムに失敗する可能性がある、デバッグが面倒であるなど、さまざまな理由で本質的に維持が困難です。信頼性の高い非ユニットテストスイートを管理できれば、貴重なものになります。

そのようなスイートを持っているのは、単なる夢のようなものですか？チームは、一貫して環境に配慮した、メンテナンスの少ない非ユニットテストスイートをどのように管理できますか？

Geb (自動化テスト フレームワーク) は受け入れテスト フレームワークとして優れていますか?

私は現在、frank (そしてUISpec ) を使用して、新しい iOS アプリケーションの受け入れテストを作成しようとしています。フレームワークは、ビューを操作するための基本的な方法としてタッチをサポートしていますが、現在、より複雑なジェスチャ (ピンチ、スワイプなど) はサポートしていません。少なくともスワイプのサポートを追加する必要があります。これは、アプリケーションの機能の中核であり、それがなければテストはまったく役に立たないからです。

Cocoa でイベントをシミュレートする方法が見つかれば、これを実装するのはかなり簡単です。Apple の UIAutomation フレームワーク (こちらを参照) を使用すると、スワイプ ジェスチャを送信できるため、これらのイベントを外部で生成する例を示します。私はウェブ上を検索しましたが、これを行っている人の例は見つかりませんでした（以前、誰かがこれに似たものを求めていたスレッドがありました...）。

あなたの助け/アイデアを前もって感謝します...

ステーキでカピバラ（0.3.9）を使用し、ステーキ受け入れ仕様をで実行すると:js => true、Firefoxが起動し、動作します。しかし、にアップグレードcapybaraして同じ仕様を実行すると、Firefoxはポート9887で起動されますが、ページにはが表示され0.4.1.2ます。セレンサーバーは起動できなかったと思います。これは、タグ付きのキュウリのシナリオにも影響します。GemfileUnable to connect@javascript

以下は私のspec_helper.rb

これはacceptance_helper.rb

明らかに、この質問に対する答えは、多くの環境要因によって異なります。

一般に、HtmlUnitDriver基本的に他のブラウザと同じようにウェブサイトをナビゲートするために「信頼できる」信頼できるツールとして、人々の経験はどうなっているのか疑問に思っています.

もちろん、「他のブラウザーのやり方」はかなり漠然としていることは理解しています。当然、すべてのブラウザには癖があります。しかし、私は何百もの受け入れテスト シナリオ ( JBehaveで記述) があり、 and を使用FirefoxDriverしInternetExplorerDriverてすべてを実行するプロジェクトに参加しています。したがって、受け入れテストを使用するように切り替えて、ほとんど同じ動作ではるかに高速な時間を期待できることが少なくとも実現可能かどうか疑問に思っています (おそらく、少数のテストが失敗し、具体的にはブラウザーベースのドライバー)。HtmlUnitDriverHtmlUnitDriver

私たちの UI はGWTを使用していますが、これは複雑になる場合とそうでない場合があります (わかりません)。

基本的に、他の人の経験では、HtmlUnitDriver他のブラウザーと同じように動作しますか、それとも、最小限の JavaScript を使用した非常に単純な HTML Web サイトにのみ適切であり、エンタープライズ Web アプリケーションには使用しないでください。

Gherkin 構文で記述された受け入れテストがいくつかあり、SpecFlow を使用して自動化しています。シナリオの一例 (ガーキンにはありませんが) は、

「昇給率が会社のしきい値を超えているレビューが送信された場合、「昇給承認者」がレビューを承認する必要があります。」

ご覧のとおり、これは特別な条件の例であり、追加の担当者がレビューを承認する必要があります。この例を考えると、次のシナリオを用意する必要がありますか?

会社のしきい値内の昇給率でレビューが送信された場合、「昇給承認者」はレビューを承認する必要はありません。

もしそうなら、カットオフラインはどこですか？明らかに、これは 1 つのシナリオごとに 2 つのシナリオを持つことにつながる可能性があります。すべてのレビュー）

RailsプロジェクトのCapybara + RSpecでの統合テストはほとんどありません。今日、Cucumber に代わる純粋な Ruby のSteak gem に出会いました。一見すると、どちらにも価値がありません。私にとっては、Steak の名前が と に変更されたようdescribeです。個人的には、それらに慣れており、受け入れテストをコントローラーまたはモデルテストとは異なるものにする理由が見当たらないので、説明することを好みます。featureitscenario

何か不足していますか？

一般的に、テスト、本番、および開発はどのように分離されていますか? また、シナリオでアクセス制御をどのように使用できますか?

結果でいっぱいのディレクトリを生成するソフトウェアパッケージを作成しました。いくつかの標準入力ファイルからの結果をテストしたいと思います。ディレクトリは、現在の日付/時刻のトレース、実行固有のUUID、現在のSubversionリビジョン番号など、変更されるものの数が限られていることを除いて、実行ごとにいくらか類似している必要があります。これは、これらの変数がテキストファイルの本文に挿入されることもあれば、ファイル名に挿入されることもあるという事実によって複雑になっています。また、テキストファイルがgzip圧縮されている場合もあります。diffこれはすべて、ディレクトリを比較するために使用することを複雑にします。

理想的には、アプリケーションを1回「ゴールデン」実行し、出力ファイルを編集して変数をある種の正規表現構文に置き換え、アプリケーションを実行してディレクトリを比較し、正規表現構文に一致するものを受け入れることができるようにしたいと思います。これを簡単に実行できるテストフレームワークはありますか？コマンドラインインターフェイスがあれば最高で、次にPythonインターフェイスが最適です。そうでなければ、私はおそらく自分で何かを巻き上げようとするだろうと思います。