問題タブ [projective-geometry]

同じカメラで撮影した 3 つの画像からシーンの射影再構成を既に行っています (つまり、射影フレーム内のカメラ行列と点座標を再構成しました。3 つのカメラ行列の 1 つは円錐行列 P = [I | 0]）。カメラの組み込み関数は完全に知られています。

メトリクスにアップグレードするにはどうすればよいですか?

2D ピクセルの位置を表す深度N(i,j)マップから法線マップを計算したいと考えています。この問題の基本的なケースについては、ここで説明します:隣接するピクセルのクロス積を使用して深度画像から表面法線を計算するD(i,j)(i,j)

ただし、私の場合D(i,j)は射影深度です。3D オブジェクト (3D ポイントのセットによって与えられる) は、固有のカメラ行列[K|0](定義については以下を参照) を使用して、各 3D ポイントを同次座標 (つまり、4D ベクトル[x,y,z,1].T) と[K|0]. この場合、D(i,j)は、投影がピクセルに当たる 3D ポイントのノルムに対応し(i,j)ます。

固有のカメラ行列は、次の式で与えられます。

ここで、fx/fy は x/y 軸に沿った焦点距離、ox/oy は x/y 軸に沿ったカメラ オフセットです。

このセットアップを考えると、法線は何N(i,j)ですか?

保護変換行列を使用して画像を変換しています。次のようにして変換を取得します。ここで、a は 4 つの固定点、b は 4 つの移動点です。

imwarp次に、次のように変換行列を使用して画像を変換my_tformします。

これは本当にうまくいきます。私が抱えている問題は、変換前のピクセル位置から新しいピクセル位置を知りたいということです。画像の各ピクセルに対してこれを行うため、高速なコードが必要です。基本的に、元の画像の (256,256) のような位置が与えられた場合、変換された画像の新しい位置は何ですか?

以下の例の画像を参照してください。右が元の画像、左が変換後の画像です。データ ヒントは両方の画像で同じピクセルですが、場所が異なります。2つの間を移動する方法を知りたいです。

この論文をmatlabに実装しようとしています:

単一画像からの 5 点対応を使用したジオメトリベースのカメラ キャリブレーション

今、私はカメラの位置を正しく見つけたと思いますが、回転行列にはまだ疑問があり、焦点距離を見つけるために DLT アルゴリズムを適用する方法を理解できません。アルゴリズムの実装方法がわかりません。焦点距離は単なるパラメーターであり、他のすべてのパラメーターは既知であるため、DLT マトリックスをどのように形成する必要がありますか?

これが私のコードで、使用した画像があります。

GitHub からのコード

誰かがそれを調べたり、DLT の使用方法を提案したりできれば、それはありがたいです。それを機能させるために、紙の方程式[5]と[6]が線形システムを形成するかのように焦点距離を見つけました。