問題タブ [black-box]

ニーズに合わせて変更された缶詰パッケージを入手しようとしています。私はそのためのテストを準備するためのチームセットアップの一部です。Oracleバックエンドがあり、C++.NETで記述されていると思います。

私の質問は、無料またはオープンソースのテストツールをお勧めしますか。

ありがとう

ケン

PS/2 タッチパッド用のドライバーを書きたいと思っています (私は Web の専門家なので、これは私にとってなじみのない領域です)。タッチパッドには Windows XP ドライバーが付属しており、明らかにメッセージを送信してタップによるクリックを有効/無効にします。送信しているメッセージを見つけようとしていますが、開始方法がわかりません。「Syser Debugger」のようなソフトウェアは動作しますか? PS/2 バスに送信される送信メッセージをインターセプトしたいと考えています。

単体テストが開発によって処理されると仮定すると、QA が製品の仕組みの詳細を知る必要がある理由はありますか? つまり、彼らはバックグラウンドで何が起こっているかを知る必要があり、通常の UI を使用せずに製品のセグメントをテストする必要があるのでしょうか? たとえば、テスターがデータベースに入り、手動で値を変更して何が起こるかを確認することは理にかなっていますか?

編集:
非開発者が使用するアプリケーションで作業していると仮定しましょう。API が添付されたものには取り組んでいません。

たとえば、CsvReader に対するテストを書いています。これは、テキスト行を列挙して分割する単純なクラスです。その唯一の理由は、引用符内のコンマを無視することです。1ページ未満です。

クラスを「ブラックボックス」でテストすることにより、次のようなことを確認しました

• ファイルが存在しない場合はどうなりますか?
• ファイルに対するアクセス許可がない場合はどうなりますか?
• ファイルに Windows 以外の改行がある場合はどうなりますか?

しかし実際には、これらはすべて StreamReader の仕事です。私のクラスは、これらのケースについて何もせずに機能します。したがって、本質的に、私のテストは StreamReader によってスローされたエラーをキャッチし、フレームワークによって処理される動作をテストしています。それは無駄に多くの仕事のように感じます。

関連する質問を見てきました

• QA は厳密にブラックボックスの観点からテストする必要がありますか?
• 単体テスト用のテスト ケースを厳密にキャプチャする

私の質問は、この種の作業を回避するために知っていることを使用する場合、「ガラスの箱」テストのポイントを見逃しているのでしょうか?

（テスター/ QAの）どのタイプのテストに重点を置くべきだと思いますか、またその理由は何ですか？

ウィキペディアからの定義のクイックセット：

ブラックボックステスト

• テストケースを導き出すために、テストオブジェクトの外部の視点を取ります。これらのテストは、通常は機能しますが、機能する場合と機能しない場合があります。テスト設計者は、有効な入力と無効な入力を選択し、正しい出力を決定します。テストオブジェクトの内部構造に関する知識はありません。

ホワイトボックステスト

• システムの内部パースペクティブを使用して、内部構造に基づいてテストケースを設計します。ソフトウェアを介したすべてのパスを識別するには、プログラミングスキルが必要です。テスターは、コードを介してパスを実行するためのテストケース入力を選択し、適切な出力を決定します。電気ハードウェアテストでは、回路内のすべてのノードをプローブして測定できます。例として、インサーキットテスト（ICT）があります。

もう少し明確にするために、両方が重要であることに気付きましたが、通常、それらはdevとQAの間で分離されています。

テスター/QAにとって内部知識は重要ですか？この知識を念頭に置いてテストすることで、問題をより適切にテストできるという議論を聞いたことがありますが、この知識が機能上のニーズをそらし、意図した解決策ではなく「コードのテスト」を促進する可能性があるという議論も聞いています。

Rails と Django のどちらを使用して Web アプリを作成するかを決めようとしています。「魔法」の使用が少ないため、Django を使用することをお勧めします。しかし、私の観点からは、Rails の「魔法」は良いことのように思えます。なぜなら、請負業者にとって開発がより簡潔になり、私の費用で請求可能な時間が減るからです。Django の利点はよりきめ細かな制御であることは理解していますが、この制御が必要かどうかはどうすればわかりますか? 「魔法」に固有の問題はありますか？

私が最初に Rails と Django を調べ始めたとき、Django 開発者は、Rails は過剰な「魔法」(リーキーな抽象化) を使用するブラック ボックスであると感じ、Rails から遠ざけました。Rails をさらに詳しく調べると、これは scaffolding を使用せずに Rails でカスタマイズを行う方法を知らないことに基づく、情報に基づかない仮定ではないかと思います。スキャフォールディング自体は多くのことを隠しているように見えますが、スキャフォールディングなしでプロジェクトを作成する方法を理解すれば、Rails は Django と同じくらい高度にカスタマイズできるように思えます。これは私の誤解ですか、それとも Rails の「魔法の」批評家の誤解ですか?

ここで取り上げるホワイトボックス/API テストに反対

開発者と QA の両方を対象に、テストを行うように求められるインタビューが数多くあります。古典的な方法は、メモ帳から保存ダイアログをテストすることです。

これは、私が思いつくことができる、分類および優先順位付けされたテストのリストです。

[機能的、高] - ダイアログはユースケースを実行します - ユーザーが「名前を付けて保存」を実行すると表示され、左側のボタンが機能し、ファイルが指定された名前とエンコードで保存され、上部のボタンが機能し、キャンセル ボタンが機能します。

[機能的、中] - 読み取り専用メディアに保存 - かなりのエラーが表示されますか?

[機能的、中程度] - 空のファイルを保存します

[機能的、低] - ファイルを .txt として保存しますが、名前から拡張子を削除します

[機能的、高い] - ダイアログがモーダルであることを確認してください

[機能的、高い] - dir ナビゲーションと dir 機能が動作することを確認してください

[機能的、高] - コンテキスト メニュー オプションが機能する

[負荷、低] - 非常に多数の (システム制限に近づいている) .txt ファイルがあるディレクトリに移動します。そこにファイルを保存します

[負荷、低] - 多数のサブディレクトリがあるディレクトリに移動します。そこにファイルを保存します。

[stress, low] - 最大数のファイルが許可されているディレクトリに移動し、ファイルの保存を試みます

[stress, low] - システムをファイル ハンドルで飽和させます (Yahoo Messenger のように、非常にリッチなインターフェイスを持つアプリやリークを処理するアプリをシミュレートするため)。ダイアログが表示されますか?

[stress, medium] - ディスクに空き容量がない場合にファイルを保存してみてください。

[ストレス、低] - 「最後のフォルダーに移動」ボタンがこれにどれだけ深くなるかを確認します

[stress, low] - 非常に多数のディレクトリがあるディレクトリに移動します

[パフォーマンス、低] - ダイアログの表示に必要な時間を測定します

[パフォーマンス、低] - ダイアログによって使用されるリソース (メモリ、ウィンドウ ハンドル、I/O) を測定します。リソースの割り当てが解除されていることを確認してください

[アクセシビリティ、高い] - ダイアログは win が提供するアクセシビリティ ツールと互換性がありますか? (拡大鏡、ナレーター); たとえば、大きなフォントを選択すると、メニュー項目が適切にスケーリングされます

[アクセシビリティと互換性、中] - ダイアログは、アクセシビリティ機能を提供する有名なサードパーティ プログラムと互換性がありますか?

[localization, high] - ダイアログは他のロケールでも動作します

[ローカライズ、高] - ファイル名として UTF-8 および ANSII 文字のランダム入力

[localization, medium] - 右から左へのロケール

[互換性] - エンコーディングに関係なく、保存したファイルを他の編集ツールで開くことができることを確認してください

[使いやすさ、高い] - ユーザーは、ファイルを上書きするかどうかを尋ねられます

もう少し追加できますか？または、これらについてコメントしますか？

さまざまなベンダーが実装できるAPIがあります。APIを使用して、データを送受信したり、さまざまなリターンコードを取得したりできます。

私がやりたいのは、APIを自動化された方法でテストし、すべてを可能な限りクリーンに保つことができるようにすることです。実際にはユニットテストを行っていません。これは、テスト/QA設定で使用するためのものです。

私が行ったことは、C＃でダミーのアプリを作成し、NUnitを使用して一連のテストを作成することです。したがって、機能に基づいてさまざまなクラスのすべてのテストがあり、NUnitを起動してテストを実行し、結果を確認できます。セットアップと分解の方法が好きです。これにより、APIを既知の状態にすることができます。NUnitのアサーションメソッドも気に入っています。

これはNUnitの意図ではないと思います。ほとんどの人は、アプリ内でNUnitを使用して独自のコードをテストすることを期待しています。私の質問は、私がしていることはどれほど悪いのかということです。そして、何が良いでしょうか？