opencv - 顔を非正面から正面に回転するopencv

Question

この画像の左の顔のように正面以外から同じ画像の右の顔のように正面に顔を回転できないという問題に 1 週​​間苦労しました。

1)。次のように、learnopencv Web サイトの delaunay に関するチュートリアルを使用して、左面のすべての三角形 (約 138 個の三角形) を取得します。

...

triangle num 4: [100, 383] | [120, 374] | [112, 385]

triangle num 5: [120, 374] | [100, 383] | [92, 345]

triangle num 6: [136, 396] | [137, 379] | [151, 394]

triangle num 7: [137, 379] | [136, 396] | [118, 395]

triangle num 8: [92, 345] | [86, 414] | [80, 451]

triangle num 9: [86, 414] | [92, 345] | [100, 383]

triangle num 10: [86, 414] | [100, 383] | [118, 395]

triangle num 11: [116, 336] | [120, 374] | [92, 345]

triangle num 12: [120, 374] | [116, 336] | [133, 344]

...

2)。およびこのライブラリ: https://github.com/chili-epfl/attention-tracker (頭の姿勢を推定できます) は、左顔の頭の姿勢の 4x4 行列変換を取得します。この行列は関数の結果のようですRodriguesopencvで。

 0.659585  -0.749291 -0.0592507  0.0591621 

-0.0327269 -0.107385 0.993679    -0.00523744 

-0.750917  -0.653477 -0.0953513  -0.280204 

 0         0         0           1 

したがって、ステップ 1 のすべての三角形をステップ 2 の 4x4 マトリックスで回転させて、右面の結果を取得する次の動きはわかりません。助けてください！

Answer 1

顔のランドマークの位置を投影したとしても、正面以外のビューから正面のビューに顔を投影する方法は複雑な問題です。以前に使用した 2 つのオープン ソース ライブラリを使用することをお勧めします。

1 つ目は MIT によって提供されます。このコードは、顔のフロントライザーだけでなく、あらゆるオブジェクトに使用できます。 https://bitbucket.org/gbhuang/congealreal

2 番目のライブラリ リンクは、フェース プロジェクションのみを提供するものの下にあります。

https://github.com/eranid/adience_align

2番目のライブラリが最も便利だと思います。