それは、コンピューター ビジョンの知識に依存します。まず、opencv が提供できるものを使用します。feature2d モジュールをご覧ください。
必要なのは、最初に特徴点 (sift や surf など) を抽出し、その組み込みのマッチング アルゴリズムを使用して、2 つのフレームから抽出された点を一致させることです。マッチごとにいくつかの制約が与えられ、過飽和の Ax=B を解決することになります。
もちろん、実験はオフラインで行います。つまり、最初にビデオを撮影してから、単一の画像を操作します。
アップデート:
マルチカメラ キャリブレーションの場合、目標は各カメラの 3D 位置を特定することです。これは、まさにあなたが持っているものです。単一のカメラを移動する代わりに、単一のカメラでキャプチャされたビデオ内の画像の数と同じ数のカメラがあり、各カメラの位置の 3D 位置を知りたいとします。これは、によって撮影された各画像の位置を表します。あなたの単一の移動カメラ。
世界の任意の 3D ポイントを画像の 2D ポイントにマッピングできるマトリックスがあります。wiki を参照してください。カメラ マトリックスは、内部パラメーターと外部パラメーターの 2 つの部分で構成されます。私は (おそらく不正確に) 固有パラメーターを内部マトリックスと呼びました。内部パラメータは単一のカメラの静的パラメータ (焦点距離など) で構成され、外部パラメータはカメラの位置と回転で構成されます。
カメラの固有パラメータと一致した点を取得したら、これらの投影方程式を互いに積み重ねて、一致したすべての点の実際の 3D 位置とすべての外部パラメータの両方についてシステムを解くことができます。パラメーター。