各画像にカメラポーズ（またはオブジェクトポーズ）の注釈が付けられた、さまざまなポーズのオブジェクトの画像のデータセットを作成しようとしています。
たとえば、ワールド座標系があり、対象のオブジェクトを原点に配置し、カメラを既知の位置 (x、y、z) に配置して原点に向けるとします。この情報があれば、カメラまたはオブジェクトのポーズ (回転行列) をどのように計算できますか。
オブジェクトの回転を定義できる参照座標、つまり (0,0,z') を持つという 1 つのアイデアがありました。つまり、チルト、ピッチ、ヨーです。次に、(0,0,z') と (x,y,z) から回転を計算して、回転行列を得ることができます。問題は、2 つの回転行列をどのように結合するかということです。
ところで、物理的にカメラを動かすのではなく、CAD モデルから OpenGL でこれらをレンダリングしているので、カメラのワールド位置を知っています。
ホモグラフィ行列は、均一なスクリーン座標 (i,j) と均一なワールド座標 (x,y,z) の間をマッピングします。
同次座標は、通常の座標に 1 を追加したものです。したがって、画面座標の (3,4) は、同種の画面座標として (3,4,1) です。
一組の同次スクリーン座標 S とそれに関連する同次ワールド位置 W がある場合、4x4 ホモグラフィ行列は次を満たします。
S * H = 転置 (W)
したがって、ワールド座標でいくつかの機能を見つけることになります。また、画面座標で i,j 位置を特定し、「最適な」ホモグラフィ マトリックスを実行することもできます (openCV には関数 findHomography があります)。
カメラの xyz が有用な情報を提供することを知っていても、方程式を完全に制約するには不十分であり、いずれにせよより多くのスクリーン ワールド ペアを生成する必要があります。したがって、カメラの位置をミックスに統合するのに時間をかける価値はないと思います。
ここで同様の実験を行いました: http://edinburghhacklab.com/2012/05/optical-localization-to-0-1mm-no-problemo/