API のライセンス コストが十分な投資収益率を生み出すかどうかを確認するために、一連のラピッド プロトタイプを通じて自動化および統計生成プログラムを進化させてきました。限られた時間枠と私自身の限られた経験により、自動化された品質または正確性のテストとメトリックのない便利なツールが生まれました.
このプログラムは、PDF ドキュメントのローカリゼーション プロセスを扱います。具体的には、ファイルのコンテンツの一部 (おおよその単語数、画像数など) に関するレポートを生成し、コンテンツの抽出および処理機能を備えています。主に、PDF ローカリゼーション プロジェクトのコストを評価する時間とコストを削減するために使用されます。
アプリケーションは現在、バグ追跡システムの要求、予備テスト、リリース、およびフィードバック サイクルを含む、より正式な開発プロセスに対して承認されています。
問題は、この種のアプリケーションで QA とテストを行うにはどうすればよいかということです。多くの場合、数値はヒューリスティックに基づく最良の推測であり、処理された出力は、ソース ドキュメントの恐ろしい構造のために常に役立つとは限りません。数値が明らかに異常な場合はレポートに警告を追加する予定ですが、品質を保証するために他に何ができるでしょうか?
これまでのところ、私が持っている最も洗練された解決策は、ビルド環境でアサーション テストを行い、従来のユーザー テスト ケースを多数作成することによって、いくつかのヘルパー メソッドの結果を保証することです (これは避けたいと思います)。
主観的な品質測定をどのようにテストしますか?
私は C# で作業していますが、フレームワーク固有のものよりも一般的なベスト プラクティスの回答を好みます。