問題タブ [regression-testing]

私のチームと私は、データアクセスにDoctrine2を含むSymfonyフレームワークを使用するために移植している大規模なWebアプリケーションを持っています。始めたばかりなので、後でエンティティ関係の回帰テストについて疑問に思っています。

データベーススキーマから自動的に生成された多数のDoctrineエンティティがあり、現在、特に関係マッピングの領域でそれぞれをチェックして整理しているところです。マッピングが完了し（ドキュメントブロックアノテーションを使用）、エンティティが正しいデータアクセスを実行していることを簡単なスクリプトで確認したら、マッピングを確実にし、エンティティの機能が将来壊れないようにするための最良の方法は何ですか。

すべてのエンティティの単体テストをスタンドアロンユニットとして作成し、必要な依存関係をモックしますが、これは、編集中のアノテーションコメントや、現在のエンティティの関係を変更および破壊するスキーマから必ずしも保護するものではありません。

何かご意見は？ここの誰かが同じ問題を抱えていましたか？

私は現在PythonでJavaデコンパイラーを書いていますが、自動化された機能テストを追加したいと思います。私はJavaコードの短い断片をたくさん持っており、それらがエラーなしで逆コンパイルされ、出力コードがコンパイルされ、結果のプログラムが期待される出力を提供することを確認する必要があります。

これをすべて自動的に行うためにいくつかのスクリプトを作成する予定subprocessですが、テストの作成方法と保存方法を決定するのに問題があります。外に出て独自のフォーマットとテストランナーを作成する前に、既存のフレームワークを使用するための実行可能な方法があるかどうかを確認する必要があると考えました。私は何をすべきか？単体テストや統合テストなどについてインターネットでたくさん読んだことがありますが、自分の状況にどのように適用すればよいかわかりません。

私はテストを始めたばかりで、正直なところ、msdn ライブラリで多くの記事を読んでいるので、最初からやり直したいのですが、今は混乱しています...助けてください!

私がやった事：

• VS 2010 で自動化されたコード化された UI テスト (CUIT) を作成しました
• CUIT は Excel ファイルからデータを取得しています
• このブログに続いて、Excel ファイルと CUIT の間のリンクを作成しました

マイ MS ツール

• マイクロソフト テスト マネージャー 2010
• ビジュアル スタジオ 2010
• Team Foundation Server 2010 & Team Foundation ビルド
• SQL Server 2008 R2 (該当する場合)

目的: PC を使用して、追加のツールを使用せずに物理環境で自動テストを実行する

どうもありがとうございました！

Visual Studio 2010 Premium エディションの [テスト] メニューにコード化された UI テストが表示されません。Basic Unit Test、Ordered Test、Unit Test、および Unit Test Wizard のみが表示されます。カスタマイズ機能を使用してコード化された UI テスト ビルダーをメニューに追加しようとしましたが、メニューに無効として表示されました。

コード化された UI テストにアクセスする方法を教えてください。

1 台のサーバーにビルド コントローラー、1 台のサーバーにテスト エージェント、1 台のサーバーに Visual Studio 2010 Ultimat がインストールされています。コントローラーでビルドしてエージェントで実行するテストをキューに入れると
、テスト (cuit) がコントローラーでビルドされて実行されます。

エージェントはコントローラーに接続されており、すべてが正常に接続されているようです。欠けている小さな詳細があるか、構成が間違っている必要があります。コントローラに新しいエージェントを追加しようとしましたが、エージェントの「テスト エージェント ステータス」はオンラインで、コントローラに接続されています。ドロップ フォルダーは、完成したビルドが内部にあるすべてのサーバーからアクセスできます。

任意の考えをいただければ幸いです。

ビョルン

私は Watir フレームワークが初めてで、次のようなコードがあります。

. ただし、これはIEではうまく機能しますが、Firefoxでは常に機能しません。したがって、次のようなものを使用します

ただし、IE 用と Firefox 用に 1 つずつ記述したくありません。何を使うべきですか？

お時間をいただきありがとうございます。

XLL の C++ で作業中の Excel アドインを作成しています。Excelアドインの非回帰テストをセットアップし、それらをSVNなどのソース管理ソフトウェアと統合して自動レポートを作成する標準的および/または簡単な方法はありますか?

BonCodigo が述べたように、アドインを Excel からではなく C# プログラムから呼び出すことができれば、すべてが簡単になります。

現在、VS2005 と Office 2012 を使用しています。

乾杯トニー

私は財務情報 Web アプリを開発しているチームに所属しています。自動化されたテストをまだ多く書いていないため、プログラムの最も重要な部分に回帰テストを追加することにしました。ただし、私は自動テストに非常に慣れていないため、テストをどのように記述すればよいか完全にはわかりません。

この投稿は長いので、ここに tl;dr の質問があります: 特定の計算が機能しているかどうかを確認する回帰テストを作成するにはどうすればよいですか? ただし、計算をテストしたいだけではありません。また、計算が依存して入力が壊れるコンポーネントがあるかどうかも知りたいです。特にどのコンポーネントが壊れたかを知る必要はありません。何かが機能していないだけです。どのようなアプローチを使用する必要がありますか?

これが私たちの状況です。次のように、階層化されたアーキテクチャを使用してアプリを開発しました。

計算エンジンは、回帰テスト スイートが最も必要なプログラムの一部であると判断しました。これらのコンポーネントには、生の財務データを有用な結果に処理するために使用する計算とアルゴリズムが含まれています。対応する Manager は、生の財務データをパラメーターとして受け入れる public メソッドを呼び出すことによって、それらを使用します。エンジン メソッドが戻ると、処理された財務結果を含むオブジェクトが返されます。一方、マネージャーはデータ アクセサーから生の財務データを取得し、データ アクセサーはデータベースからデータを取得します。

私たちは、財務計算が「壊れる」とすぐに知りたいと思ったので、最後のテスト実行以降にプログラムのどこかにバグがあったことがわかりました。これにより、継続的なテストを使用して、エンジンが間違った結果を生成したり、どこを見ればよいかわからなくなったりすることを防ぐことができます。

これが何を意味するのかを考えてみると、各エンジンに単体テストを追加するだけでは不十分であることがわかりました。たとえば、データ アクセサーへの誤った変更が、間違ったデータのプルを開始したことを意味するとします。このデータはマネージャを介してエンジンに送信され、間違った結果が生成されます。ただし、エンジンのアルゴリズム自体は引き続き完全に機能するため、単体テストは引き続きパスします。これは、間違った数値が生成されていることに気付いたときに、バグがいつ導入されたかを知る方法がなく、追跡と修正がより困難になることを意味します.

代わりに、間違ったデータがエンジンに送信され、エンジンに送信されることが問題であっても、エンジンが出力する最終結果が正しくないバグが発生した場合にすぐに検出できる回帰テストを作成したいと考えています。エンジン自体に問題があるわけではありません。これらのテストが失敗した場合、どこに問題があるかはわかりませんが、継続的にテストを行っている場合は、バグがチェックインされ、それを修正するためにいくつかの変更を確認するとすぐにわかります。

それが私たちがやりたいことです。残念ながら、これらのテストの作成方法はわかりません。これらのタイプの回帰テストを作成するには、どのようなアプローチまたはパターンが役立ちますか?

私たちの問題は、私たちの cuid テストで新しいビルドをキューに入れると、ビルド コントローラーが「使用不可」になることがあります。次に、ビルド コントローラー サーバーにログインし、tfs 管理コンソールでサービスを手動で再起動する必要があります。これはランダムに発生しているようです。インターネットを検索しましたが、関連する回答が見つかりませんでした。ファイアウォールまたは 2 枚の NIC カードが問題である可能性を示唆する人もいますが、私たちの場合はそうではありません。

イベントビューア ログ:

ログエントリー番号 1. (QTController.exe、PID 1568、スレッド 21) ControllerSpooledJob.AddMessage: Microsoft.VisualStudio.TestTools.Controller.ControllerSpooledJob でのイベント リスナー Microsoft.VisualStudio.TestTools.Execution.RemoteObjectContainer 1[Microsoft.VisualStudio.TestTools.Controller.IControllerEvents]: System.Net.Sockets.SocketException (0x80004005): No connection could be made because the target machine actively refused it 110.11.170.140:2451 Server stack trace: at System.Net.Sockets.Socket.Connect(IPAddress[] addresses, Int32 port) at System.Runtime.Remoting.Channels.RemoteConnection.CreateNewSocket(AddressFamily family) at System.Runtime.Remoting.Channels.RemoteConnection.CreateNewSocket() at System.Runtime.Remoting.Channels.RemoteConnection.GetSocket() at System.Runtime.Remoting.Channels.SocketCache.GetSocket(String machinePortAndSid, Boolean openNew) at System.Runtime.Remoting.Channels.Tcp.TcpClientTransportSink.SendRequestWithRetry(IMessage msg, ITransportHeaders requestHeaders, Stream requestStream) at System.Runtime.Remoting.Channels.Tcp.TcpClientTransportSink.ProcessMessage(IMessage msg, ITransportHeaders requestHeaders, Stream requestStream, ITransportHeaders& responseHeaders, Stream& responseStream) at System.Runtime.Remoting.Channels.BinaryClientFormatterSink.SyncProcessMessage(IMessage msg) Exception rethrown at [0]: at System.Runtime.Remoting.Proxies.RealProxy.HandleReturnMessage(IMessage reqMsg, IMessage retMsg) at System.Runtime.Remoting.Proxies.RealProxy.PrivateInvoke(MessageData& msgData, Int32 type) at Microsoft.VisualStudio.TestTools.Controller.IControllerEvents.ControllerEvent(TestMessage report) at Microsoft.VisualStudio.TestTools.Controller.ControllerSpooledJob.<>c__DisplayClass6.<AddMessage>b__3(IControllerEvents eventListener) at Microsoft.VisualStudio.TestTools.Execution.RemoteObjectContainer1.InvokeAsRemoteUser(Action`1 呼び出し) の呼び出しに失敗しました。 AddMessage(TestMessage メッセージ)

ログエントリー番号 2. (QTController.exe、PID 1568、スレッド 46) ユーザーが管理者グループに属していません。

ログエントリー番号 3. (QTController.exe、PID 1568、スレッド 46) ControllerExecution: ReverseDeploymentComplete 中の間違った実行状態: Microsoft.VisualStudio.TestTools.Exceptions.EqtException: 期待される状態は完了していますが、実際の状態は Microsoft.VisualStudio.TestTools.Common.StateMachine で破棄されます`1.Microsoft.VisualStudio.TestTools.Controller.ControllerExecution.ReverseDeploymentComplete(Guid runId、FileCopyFinishedReason理由)でVerify(StateEnumが必要)

この問題に関する提案、考え、または経験をいただければ幸いです。

回帰テスト戦略に適したツールの選択についてアドバイスが必要です。主な基準は、適切なツールの「ベストバイ」です。Gartners のケース スタディを分析した後、Atlassian と IBM の QA ソリューションのどちらかを選択しようとしています。主なジレンマは、IBM Jazz プラットフォームが自動化テスト ソリューションとして Rational Functional Tester を統合し、Atlassian がデフォルトで自動化テスト トールを統合しない Jira プラットフォームに依存していることです。

私の会社は Java 指向なので、VB スクリプト言語のために HP Quick Test Professional を排除しました。

オプションは次のとおりです。

1. アトラシアン: Jira - Greenhoper - Zephyr - Selenium 2
2. IBM: Jazz - Rational クオリティ センター - Rational チーム コンサート - Rational Functional テスター。

最初のものは明らかに安価なソリューションですが、私の意見では、Selenium は長期的なソリューションではないため、アプリケーションが変更されたときに膨大な数のテスト スクリプトを維持するのが難しくなります。RFT は、スクリプト内の何かを置き換えるときにオブジェクトをマップします (または、おそらく私間違っています）。

自動化テストを担当するのは開発者なので、ほとんどのテストはレコーダーだけでは作成できません。

テストするアプリケーションは、Java Web アプリケーションと別のシステムとの統合です。

質問: RFC が Jazz ではなく Jira と統合される可能性はありますか? はいの場合、Atlassian - Jira - Greenhoper - Zephyr - Rational Functional tester ソリューションについてどう思いますか?