問題タブ [regression-testing]

ページ読み込み時間の自動回帰テストを導入することを考えています。展開シナリオはほとんどなく、Jenkins/hudson 統合で jmeter を使用できると思いますが、それをどのように実行するか、およびそれを実装するためのベスト プラクティスは何かがわかりません。

そのような回帰テストを実装するためのアプローチを提案できますか?

jmeterでない場合、より良い代替手段はありますか?

私たちは、.Net (C#)、Java、JavaScript、Python、および Ruby で実装される製品を開発しています。この製品は、基本的に開発者向けのライブラリであり、バックエンド サーバー インフラストラクチャへのクライアント インターフェイスとして機能します。したがって、テストする必要があるインターフェイスは、ターゲット言語で公開されている API です。

私の目的と質問のポイントは、これらの各クライアント ライブラリの回帰テストに使用できる単一の回帰テスト スイートを (つまり、単一の言語で) どのように作成するかということです。API は機能的に同一です (または、そうであると想定されているため、テストが必要です) が、関数のシグネチャ レベルでは必ずしも同一ではありません。そのため、テスト スイートと API 自体の間にシン アダプターが必要になると想像できます。

これを行う方法はいくつか考えられますが、この種の問題に対する既存の解​​決策があるかどうかを確認したかったのです。またはガイダンス/ベストプラクティス。Google を調べてみても、何も見つからないか、適切なキーワードが思い浮かびません。

何か案は？

顧客が要求を送信し、営業担当者が要求を受信して​​応答するネイティブ iOS アプリを自動化しようとしています。どのツールを使用すればよいですか? UI 固有のテスト ケースもいくつか実行したいと考えています。ほとんどの自動化ツールは、リクエストとレスポンス ベースのアプリをサポートしていません。

助けてください。

ありがとう

多くの回帰テストがあり、毎晩の製品ビルドで実行されています。回帰結果を保存するようにシステムにアドバイスできる人はいますか?

理想的には、次のような単純なレコードを保存するためAPIの単純なツールが必要です。ORM

など、または同様のものかもしれません。

テスト チームにとって大きな問題があるように思われるので、回帰テストの結果を保存するツールと、保存されたデータを使用してレポートを生成する機能が既に作成されていると思います。ありがとう！

私の質問はこれとは正反対です。

これは私のテストファイルからの抜粋です

いくつかの情報 -

test_sampler1とtest_sampler2は、確率的サンプリングを実行するクラスの 2 つのオブジェクトです。クラスには、random_instタイプ のオブジェクトである属性がありますrandom.Random()。このファイルには、 のシードが与えられたときにによって返された の の状態がseed1234含まれており、何が何であるかを推測できます。私がしたことは、ターミナルで を作成し、 のランダムシードを与え、 で状態を取得してファイルに保存することでした。次に、回帰テストを再作成すると、常に同じ出力が得られます。TestSamplerrandom_instrandom.getstate()1234seed7883TestSampler1234rand_inst.getstate()

でも

上記と同じ手順は機能しませんtest_sampler2-同じランダムな数字のシーケンスが得られないものは何でも。私はpythonのrandomモジュールを使用しており、他の場所にはインポートしていませんがnumpy、一部の場所では使用しています（しかしnumpy.random.

との唯一の違いはtest_sampler1、test_sampler22 つの異なるファイルから作成されることです。私はこれが大したことであり、私が書いたコードに完全に依存していることを知っていますが、ここに約800行のコードを単純に貼り付けることもできません。

test_sampler2の乱数発生器の状態を混乱させているのは何ですか?

解決

私のコードには2つの別々の問題がありました:

1

私のスクリプトはコマンド ライン スクリプトであり、Python のoptparseライブラリを使用するようにリファクタリングした後、次のようなものを使用してサンプラーのシードを設定していることがわかりました。これは、シードをではなくseed = sys.argv[1]に設定していたことを意味します。オブジェクトと私はそれが難しい方法であることがわかりました。これは、同じシードを使用した場合に 2 つの異なるシーケンスが得られる理由を説明しています。strintseedpython sample 1234 #seed is 1234unit_tests.pytest_sampler1 = TestSampler(seed=1234)

2

hereから借りた離散分布サンプリングの関数があります（受け入れられた回答を見てください）。コードには基本的なものが欠けていました: 同じ値と確率の配列を与えても、順列 (たとえば、値と確率と値と確率) によって変換され['a','b']、[0.1,0.9]シード['b','a']が[0.9,0.1]設定され、たとえば0.3、PRNG によって同じランダム サンプルが得られますが、確率の間隔が異なるため、1 つのケースでは abと 1 つの anが得られますa。それを修正するために、値と確率を一緒に圧縮し、確率とtadaaでソートしました-今では常に同じ確率間隔が得られます。

両方の問題を修正した後、コードは期待どおりに機能しました。つまり、out2 は確定的に動作し始めました。

サービスが開始され、クライアントがサービスからいくつかのものを取得できると断言できる、自動化された回帰テストを書きたいと思います。

サービスが実行されていないため、これは機能しません。テスト前にサービスを開始するにはどうすればよいですか?

私はデータ予測に取り組んでいます。

確率変数 X と Y のデータが与えられた場合、Y を X で予測する方法を見つけます。

線形回帰 y = kx + b でそれを行う方法を知っています。

ただし、ここでは、x は常に非負であり、y は非負である必要があります。

y < 0 のように、b が非負でない場合があります。

b > 0 であることを保証し、予測誤差を最小限に抑える方法は?

予測を行うための他のより良い方法 (回帰ではない) はありますか?

どんな助けでも大歓迎です。

一部の Java アプリケーションの機能/受け入れ/回帰テストの自動テストを作成するための最良の方法を見つけようとしています。すべてのアプリケーションは次のように機能します。

1. 特定のフォルダーからファイルを読み取ります
2. 入力ファイルの内容を使用して、別の形式で新しいファイルを書き込みます。
3. 処理されたファイルの情報の一部をデータベースに送信します。
4. 入力フォルダーに新しいファイルが残るまで待機します。

これは周期的なアプリケーションであり、停止することはありません。

新しいファイル/形式が継続的に追加され、いくつかのライブラリがすべての形式で共有されています。手作業によるテストは、新しいフォーマットが登場するたびにますますコストがかかっています。すべてのファイルはプレーン テキスト ファイルですが、データの保存方法が異なります。

機能/受け入れ/回帰テスト (特に QA テスト) を自動化するのに役立つ方法/ツールが必要です。

問題は次のとおりです。これには、どのツール/テスト方法を使用できますか?

入力フォルダーにファイルを残し、アプリケーションが出力フォルダーに作成したものと予想されるファイルを比較できるものを考えていました。これがツールで簡単にできるのか、それともすべてを完全に作らなければならないのかはわかりません。

私は、異なる言語および異なるプラットフォーム間でシリアル ポートを介して通信するコードに取り組んでおり、シリアル ポートに接続して一連のスクリプト化された会話を実行する単一のテスト メカニズムを使用したいと考えています (" this」、「that」を待ち、2 秒間一時停止し、「that」をもう一度待つなど）。メッセージはバイナリです。何かを書くことはできますが、成熟するのに何十年もかかった何かがすでにそこにあるに違いありません。誰かそのようなことを知っていますか？Windows または Linux のいずれかです。