問題タブ [system-testing]

C++ には優れた単体テスト フレームワークがたくさんありますが、機能テストに適したものは見つかりませんでした。機能テストとは、ディスクに触れるもの、アプリケーション全体を配置する必要があるものなどを意味します。

要点: I/O が機能するかどうかなどのテストに役立つフレームワークは何ですか? 一時フォルダーを作成し、大量のデータをコピーする手作業のシステムを導入したので、テストは常に同じ環境で行われますが、カスタム フレームワークに時間を費やす前に、良いものはすでにありますか？

製品のシステム テストを設計、文書化、および監視するためのツールを探しています。

私が必要とするものの基本は次のとおりです。1）テスト間のある種の継承を表すことができるツール（つまり、別のテストまたはそのようなものをセットアップする1つのテスト）。

2) テストの特定の実行をバージョンごとに個別に監視できるツール (つまり、製品のバージョン 1.1 については、文書化されているすべてのテストからこれらの特定のテストを実行しました)。

3) ある種の自由形式のテストの「タグ付け」を可能にするツール (つまり、同じテストをいくつかのグループにグループ化できます: 回帰テスト、機能テスト、UI テスト... 1 つのテストで 3 つすべてを一度に実行できます)。

4) オプション - このツールを使用すると、「自動テスト」スクリプトを実行できます (社内で開発された自動化システムを使用して自動化されているため、さまざまな方法で連携できる必要があります)。

動作する可能性があることがわかったツールの 1 つ: http://trac-hacks.org/wiki/TestCaseManagementPlugin

これには、バグ追跡/ミッション追跡に使用し始めている Trac と連携するという追加の利点があります。誰かが推奨できる（または使用しない正当な理由がある）場合は、それも大歓迎です。

ありがとう

複製：

• クロスブラウザ/複数バージョンのサポートについてWebサイトをテストする

• ビジュアルコンポーネントをどのようにテストしますか

私は最近、Webアプリケーションのシステムテストに使用しているツールについて同僚と話をしました。次に、同僚は、アプリケーションの外観をテストしたかどうかについて質問しました。

他の誰かがこれをしますか？もしそうなら、物事が場違いに動かないこと、または物事が正しい寸法であることなどを確認するためにどのようにそれをテストしますか？

ロジックや構成が更新されたときに予期しない方法で壊れる脆弱なレガシー Web サイトで作業する必要があることがよくあります。

Seleniumスクリプトを作成するために必要なシステムの時間や知識がありません。その上、特定のユース ケースを確認したくはありません。サイト上のすべてのリンクとページを確認したいのです。

サイトをくまなく調べてリンク切れやクラッシュをチェックする自動システム テストを作成したいと考えています。理想的には、これを達成するために使用できるツールがあるでしょう。優先度の高い順に、次の機能をできるだけ多く含める必要があります。

• スクリプト経由でトリガー
• 人間の介入を必要としない
• アンカー タグを含むすべてのリンクと、CSS および js ファイルへのリンクをたどります
• 見つかったすべての 404、500 などのログを生成します。
• イントラネット上のサイトをチェックするためにローカルに展開できます
• Cookie/フォームベースの認証をサポート
• フリー/オープンソース

FitNesse、Firefox の LinkChecker、W3C リンク チェッカーなど、部分的な解決策はたくさんありますが、必要なすべての機能を備えたものはありません。

さまざまなテクノロジとプラットフォームを使用するプロジェクトでこのテストを使用したいので、ソリューションの移植性が高いほど優れています。

これが適切なシステム テストに代わるものではないことは理解していますが、サイトのどの部分も明らかに壊れていないことを確認する便利で自動化可能な方法があれば非常に便利です。

VS2008 Proを使用して作成されたC＃で記述されたデスクトップアプリケーションと、NunitフレームワークおよびVS2008用のTestdriven.netプラグインで単体テストされたものがあります。アプリケーションのシステムテストを実施する必要があります。

以前、Firefox用のBad BoyおよびSeleniumプラグインを使用してWebベースのシステムテストを実行しましたが、Visual StudioおよびC＃は初めてです。

誰かがこれに関して彼らのアドバイスを共有することができれば幸いです。

ユースケース ベースのテストとシステム テストの違いは何ですか?

システムテストをユースケースベースのテストのサブセットと見なすことはできますか? (つまり)システムテストは、システム内のコンポーネントまたはサブシステムのユースケースのみを考慮します。

アプリケーションの統合テストとシステム テストを作成したいと考えていますが、適切な統合テストとシステム テストを作成するには多大な労力が必要になることが多く、あまり気にしていませんでした。何度か試してみて、アプリケーション固有のカスタム テスト ハーネスを作成しましたが、毎回車輪を再発明するように感じました。これは間違ったアプローチではないかと思います。統合およびシステム全体のテストに対する「標準的な」アプローチはありますか?

編集：明確にするために、デスクトップおよびWebアプリケーション用の自動テストです。理想的には、アプリケーションの全機能を実行する完全なテスト スイートです。

テストをPythonで記述して快適な方法で管理できる、Pythonでのエンドツーエンドの優れたテストフレームワークを探しています。多くのユニットテストフレームワークがあることは知っていますが、システム全体がテストされているレポートなどをサポートするテストディレクターのような、より大きな範囲を探しています。

シリアライゼーション レイヤー ジェネレーターの開発を続けています。ユーザーが型の説明を (現在は XSD または WSDL で) 入力すると、ソフトウェアは特定のターゲット言語 (現在は Java および ansi C89) でコードを生成します。このコードは、記述された型を表すことができ、シリアライズも可能です (バイト シーケンスに変換) し、これらの値を逆シリアル化します。

コードを生成するのは難しいからです (つまり、コードを書くのは難しいです。コードを書くコードを書くことは、難しいことをするためにコードを書くことです。これはまったく新しい難しさの土地です:))。したがって、私の修士論文に先立つプロジェクトでは、いくつかのシステム テストを実施する必要があると判断しました。

これらのシステム テストでは、値とバイト シーケンスのタイプとペアの数が認識されます。特定の言語でシステム テストを実行するために、型がシステム全体で実行され、上記のようなコードが生成されます。次に、このコードは、手書きのホスト コードとリンクされます。ホスト コードは、これらのバイト シーケンスと値のペアを読み取ることができ、文字列から指定された値の値を読み取る機能を備えています。次に、結果の実行可能ファイルが実行され、バイト値ペアがこの実行可能ファイルに供給され、そのようなすべてのバインディングが出力 "Y" になるかどうかが全体的にチェックされます。この場合、型のこれらの例の値は、以前に定義されたバイト シーケンスにシリアル化され、生成されたコードが正しくコンパイルおよび実行され、したがって全体として、この型を処理するシステムの部分が正しいと結論付けることができます。

ただし、現在の実装には少し不満があります。現在、クラス属性からこれらのバイト値バインディングを読み取るために、非常に多くのリフレクション ソーサリーを使用するカスタム junit ランナーを作成しました。また、コードを生成するための全体的なスタックには、多くのボイラープレート コードとボイラープレート クラスが必要です。さらに悪いことに、Junits 記述に基づいており、テスト失敗レポートを生成するすべてのツールと適切に統合することは非常に困難です。このエラーの形式がjunit独自のアサーションエラーとは異なるという理由だけで、有用なmaven JunitテストランナーまたはEclipseテストランナーがコンパイラーがスローしたエラーを飲み込んだ場合に何が起こっているかを実際にデバッグすることは非常に困難です。

さらに悪いことに、生成されたコードでテストが 1 回失敗すると、maven ビルドが失敗します。これは非常に面倒です。別のユニットの特定のテストが失敗した場合に maven ビルドが失敗した場合、(たとえば) 何らかの理由で特定の深さの最初の事前注文の計算が失敗した場合、すべてがうまくいかなくなるため、私はそれが好きです。ただし、動作していることがわかっている型に対して生成されたコードを誰かに見せたいだけの場合、現在取り組んでいる型が完成していないためにアプリケーションをすばやく構築できないと非常に面倒です。

では、この背景を考えると、これらの生成仕様をチェックする優れた自動システムをどのように入手できますか? 私が考えた可能性：

• Junit 統合ソリューションは、maven、junit、および junit とランナーおよびその他すべてとの統合を改善できない限り、理想的とは言えません。
• 以前はfitnesseを使用していましたが、解決するよりも多くの問題を引き起こしたため、全体的に見捨てました. 私たちが抱えていた主な問題は、maven と hudson への統合でした。
• texttest を使用したソリューション。これは主に実行可能ファイル、stdin に配置する文字列、および stdout に期待する文字列を必要とするため、完全には確信が持てません。「アプリケーションを実行し、ホストコードとリンクして、生成された実行可能ファイルを実行する」全体を追加するのはちょっと複雑に思えます。
• 私自身の解決策を書いています。これはもちろん機能し、私が望むことを行います。ただし、いつものように、これは最も時間のかかる作業になります。

それで...何か独自のものを書くことを避けながら、これを行う別の方法がありますか?

4 つの主要な OS バージョン: 1.5、1.6、2.1、および 2.2 (現在、1.0 と 2.0 は無視しても問題ないと思います)

3 つの画面密度: ldpi、mdpi、hdpi

3つの画面サイズ: スモール、ノーマル、ラージ

多くのシステム テスト シナリオ。

すべての Android デバイスをターゲットにする必要があるアプリのテスト作業を最適化する方法はありますか? ほとんどのケースをカバーするために必要なエミュレーターの最小数は?

最近これに対処していて、他の人が Android システムのテストをどのように行っているかを知りたいと思っています。