matlab - matlabでの2つのビデオの調整

Question

コンピューターの画面と鏡をカメラで撮影しています。次に、画面をミラーに合わせて調整します。画面内のすべてのピクセルがミラー内のピクセルを調整するために、ビデオからフレームをアタッチします。

コードやアイデアを探しています。

画像の例をいくつか追加します。

Answer 1

探しているアルゴリズムは、キーポイント検出器とマッチャーです。ジョブを実行できるいくつかのアルゴリズム（SURF、SIFT、ORB、FREAKなど）があり、プロセスには3つのステップが含まれます。

1. 特徴点の検出。

2. テンプレート画像とターゲット画像のキーポイントごとに記述子を生成します。

2つのステージのアルゴリズムは、SURF、SIFT、ORBなどです。詳細については、opencvの機能検出のセクションを参照してください。

3. 2つの画像のキーポイントのマッチング

これは、KNNマッチ、FLANNベースのマッチャー、BRUTEFORCEマッチャーなどを使用して実行できます。

これがmatlabとopencvのリンクです。

MatLab_SURF

Opencv_Featureの検出

あなたの場合のSURFアルゴリズムの失敗の理由：

2つの画像を一致させることは、2つの異なるシナリオのオブジェクトですが、次の条件を考慮する必要があります。

1. 画像間でどの変換が発生したか、それはアフィンか遠近法か、それとも単なる平行移動か回転かなどです。

   あなたの場合、それは遠近法の変換のように見えます...

2. 画像は質感と品質に富んでいますか？あなたの場合、画像はテクスチャが豊富ですが、低解像度のカメラでキャプチャされたため、品質が低いか、細部が失われている可能性があります。

同様の質問については、私の回答を参照してください。

私の最初の提案は、より高品質のデータセットを最初にキャプチャすることです。キーポイント検出アルゴリズムが適切なキーポイントを見つけやすくするために、基本的なアルゴリズムの準備ができたら、解像度の低いデータセットで機能するように改善を行います。