問題タブ [webtest]

私はCodeIgniterを使用していくつかのプロジェクトを開発しており、SimpleTestで単体テストとWebテストを記述しています。私のテストは決定論的ではないことに気づきました。つまり、時間内に異なる出力を生成します。確率変数などに依存せず、厳密に決定論的である必要があるテストケースを意味します。

テストは互いに影響し合っているように見えます。多くの場合、すべてがうまくいくと、100のテストに合格したとしましょう。しかし、失敗する新しいテストメソッドを作成すると、他のいくつかのテストも失敗します。しかし、失敗したテストケースの問題を修正し、テストスイート全体を2〜3回再実行した後、スイート全体が再び合格することがよくあります。

これは一般的にWebTestCasesで発生します。

何が問題になるのか分かりますか？

共有されているクラス変数などは変更しません。

SimpleTestのコードを一瞥しました（多かれ少なかれ、フロー全体をすばやく分析するのは大きなことです）。さまざまなテストを起動する前に、ブラウザーのインスタンスが再作成されているようです。

最も奇妙なことは、再実行後、いくつかのエラーが消え、最後にすべてのエラーが消えることです。これに関係するキャッシュはありますか？

ウェブサイト上のAPIを除いて、ウェブ上のSimpleTestに関するドキュメント/ブログエントリ/フォーラム投稿は実際にはあまりないので、ヒントに感謝します。

Internet Explorerのブラウザー記録ツールを使用して、VisualStudioでWebテストを作成しました。

Webテストを取得したら、テストを再生して、手順が正しく実行されることを確認できます。

今、私がやりたいのは、テストをN回実行することです。（私の目標は、10回の実行時間をキャプチャし、それらがすべて指定された範囲内にあることを確認できるようにすることです）。

ユーザー名とパスワードを含む CSV ファイルにバインドできる Web パフォーマンス テストを作成して、異なるユーザーで同時テストを実行できるようにしようとしています。これを達成するために記録された WebTest を変更するにはどうすればよいですか?

私は CherryPy アプリケーションを開発しており、自動テストを作成したいと考えています。私はノーズテストを使用することにしました。アプリケーションは sqlalchemy を db バックエンドとして使用するため、fixture パッケージを使用して固定データセットを提供する必要があります。また、私はウェブテストをしたいと思っています。すべてをまとめて設定する方法は次のとおりです。

init_model(test = False)すべてのモデルが作成されるファイルにヘルパー関数があります。本番またはテスト (test == True または cherrypy.request.app.test == True の場合) データベースに接続し、呼び出しますcreate_all

次に、次のようなテストの基本クラスを作成しました。

そして今、BaseTest の子クラスを作成して呼び出してテストを行います。self.app.some_method()

Pythonでテストを行うのはこれが初めてで、これはすべて非常に複雑に思えます。上記のパッケージを作成者が意図したとおりに使用しているかどうか、および複雑すぎないかどうかを知りたいです。

Visual Studio 2010 を使用して Web テストを記録しています。

要求ごとに、予想される応答 URL が記録され、テストの検証規則によって、これらの応答が正しいことが保証されます。

テストはランダム データを使用しています。特定のリクエストでは、レスポンス URL が記録されているものと異なる場合がありますが、テストは引き続き有効です。WebTestRequestPlugin の応答 URL に応じてアクションを処理できますが、検証ルールは引き続き適用されます。

そのリクエストのプロパティ タブでレスポンス URL を削除しようとしましたが、フィールドが空の場合、検証ルールはレスポンスのリクエストと同じ URL を想定しているようです。

その単一のリクエストに対してその検証ルールを無効にする方法はありますか?

[編集] リクエストの ExpectedResponseUrl フィールドにワイルドカードを入れることができれば素晴らしいと思いますが、「*」では機能しないようです。[/編集]

世界中のさまざまな場所から閲覧したときに特定のサイトがどのように見えるかを視覚化するサービスはありますか? これは、ユーザーの場所を自動検出し、場所に基づくコンテンツを表示する Web サイトをテストする場合に便利です。

できれば Clojure から WebTest を使用してみたいのですが、Ant タスクとして公開されている機能しか見つかりません。Ant 以外の任意の JVM 言語から使用できることを意味する、ある種の Groovy インターフェイスがあるようですが、私にはわかりません。

ビルドごとに自分のページをテストするのではなく、WebTest を「スクリプト可能なブラウザー」として使用して、他の人のページをロードし、それがさまざまな不快なことを行うかどうかを確認したいと考えています。私はそれを避けることができます。

ユーザーの認証にセキュアトークンサービスを備えたWindowsLiveIDを使用するWebアプリケーションについて、VisualStudio2010でWebパフォーマンステストを記録しました。

記録にはhttps://login.live.com/にアクセスする2つの要求があり、テストを記録した後はVisual Studio Test Runnerで正常に機能しますが、約1日後にエラーメッセージが表示され始めます。上記のリクエストには、「ExpectedResponseUrlプロパティの値が実際の応答URLと等しくない」と記載されています。応答URL検証ルールをオフにできることは理解していますが、それでは問題の根本的な原因は修正されず、症状が隠されるだけです。

ここで何が起こっているのか誰か知っているのだろうか？私の推測では、ブラウザレベルでキャッシュされたデータがありますが、それを何らかの方法で証明することはできませんでした。

私はテストの初心者です。今のところ、JMeter を使用してテスト計画を作成し、それを Java Web アプリケーションに対して実行しています。現時点では、(平均応答時間、90% の回線、スループット、および使用される CPU/メモリの推定) を使用して、Web がどのように機能するかについてのおおよその推定を行います。

Web アプリケーションが正常に動作していることを確認するための品質チェックリストはありますか? ウェブを検索しようとしましたが、手がかりが見つかりませんでした。

更新: 私のテスト計画については、200 人のユーザーが同時に私の Web アプリケーションにアクセスし、ログイン、商品のチェック、ドキュメントのダウンロードなどの典型的なワークフローに従うケースをシミュレートします... テストを作成しようとしています潜在的な問題があるかどうかを知ることができるように、可能な限り現実的です。

テストをより現実的なものにするために、「ユーザーの思考時間」も追加しました。

コード化された Web テストについて助けが必要です。

アプリケーションへのログインに有効なアカウントの数を確認するために、コード化された Web テストを作成しました。私はたくさんのアカウント (2000 以上) を持っていますが、どれが有効かを知る必要があります。基本的に、URL にヒットし、ログイン後にページに表示される特定のテキストを検索する Web テストを記録しました。次に、すべてのアカウント名とパスワードを含む xml ファイルを作成し、資格情報データ ソースとして設定しました。次に、testrun.testrunco​​nfig を変更して「データソース行ごとに 1 つのテスト」を指定し、xml ファイルのすべての行に対してテストを実行します。
この後、テストを「コード化された」Web テストに変換しました。ここまでは順調ですね。ファイルを作成しようとすると（プログラムで成功したログインをファイルに追加するために）、問題が発生します。StreamWriter を非公開で宣言し、テスト コンストラクターで初期化しようとしましたが、「エージェント yyy で webtest xxx を実行できませんでした: 呼び出しのターゲットによって例外がスローされました」というエラーがスローされます。宣言されている同じ行でストリームを初期化しようとしましたが、同じ結果が得られます。

目的のテストをどのように達成できるかについて、誰かが考えを持っていますか? コード化された Web テストなしでこれを達成できることはわかっていますが、成功したログイン情報を収集するには、テスト結果を 1 行ずつ調べて、合格したものを確認する必要があります。誰かがより良いアイデアを持っているなら、それは大歓迎です!

よろしく
ベト