私はいくつかのテスト自動化フレームワークを評価している最中であり、いくつかの入力をいただければ幸いです。大規模なクレジット処理ビジネスアプリがあり、Web UI、soap、基本的なhttp/postの3つのエンドポイントがあります。私の要件は以下の通りです。
私たちのQAは、データ駆動型テストに非常によく使用されています（すべての入力データはExcelから取得されるため、アサーションの結果として期待されます）。基本的に、Excelシートの各行には、入力データと対応する期待される結果の両方が含まれています。QAでExcelシートを編集するだけです。私たちの開発チームは、必要なテストライブラリ/フィクスチャを提供する責任があります。上記のシナリオを考えると、これらのExcelシートを読み取り、アプリケーションのすべてのエンドポイント（Web UI、soap、http / post）をテストできる単一の自動化フレームワークを使用したいと思います。どのテスト自動化フレームワークが私のニーズに合っているか教えてください。私が始めるためのいくつかのポインタとチュートリアルに感謝します。
Robotframework を使用すると、外部ファイルから取得したテスト データを使用できます。私はExcelシートで試したことはありませんが、CSV形式のデータとJSONで試しました。最悪の場合、Excel データを Python に適した形式にエクスポートする必要があるかもしれませんが、これはスプレッドシートを管理している人々に対して透過的に行うことができます。
つまり、スプレッドシートを読み取り、テスト ケースで使用できるデータに変換するキーワードを Python (または jython を使用している場合は任意の JVM ベースの言語) で作成できます。
ただし、絶対にすべてのテストがこのデータ ファイルから実行される場合は、フレームワークは必要ありません。各行を繰り返し処理し、curl や wget と同等の機能を実行する関数を呼び出す任意の言語で短いスクリプトを作成するだけです。フレームワークは、テスト シナリオを表現する方法が必要であるが、既にそれを持っている場合に役立ちます。
そうは言っても、ロボットを使用する利点は、「スプレッドシートの各行を使用して検証する」というテストが 1 つしかない場合でも、ロボットが持つ優れたレポートを取得し、ロボットと統合できることです。ジェンキンス/ハドソンはかなり簡単です。
スプレッドシートに保存されているデータを使用してすべてのエンドポイントをテストできるツールを知りません。スプレッドシートからデータを読み取れるようにするには、既存のテスト ランナーに基づいて構築されたカスタム テスト ランナーの作成を検討する必要があります。
ただし、テストしようとしているエンドポイントに適したツールを選択することに重点を置きます。Web UI については、seleniumまたはHtmlUnitをお勧めします。スプレッドシートからこれらのテストにデータを取得するための代替方法を検討する必要があります。しかし、これらは可能な限りユーザーに近い UI を実行します。
SOAP エンドポイントをテストするには、 JUnitを使用して単体テストを作成し、バックエンドをモックすることをお勧めします。単体テストでバックエンドを個別にテストして、これが正しく機能していることを確認できます。アプリケーション アーキテクチャによっては、これを選択できない場合があります。これらを統合テストとして設定し、JUnit を介して実行し、返されたメッセージをアサートすることができます。ここでも、スプレッドシートからデータと期待値を取得するライブラリを作成する必要があります。
これがお役に立てば幸いです。
soapUI ( http://www.soapui.org/ ) または JMeter アプリケーション ( http://jmeter.apache.org/ ) をお勧めします。
SoapUI を使用して、(soap-) Web サービスの機能テストを行いました。これらのテストを自動化できます。
Apache JMeter を使用して、Web UI で自動パフォーマンス テストを実行しました。テストデータもExcelシートに基づいていました。
よろしく、パトリック