問題タブ [pose-estimation]

紙のVisual Odometry Part Iでは、単眼の場合に 3d-2d モーション推定を使用してカメラ位置を取得できると述べています (3 つの画像が必要です)。

そこで、3d-2d モーション推定を使用して関数 solvePnPRansac から Rvec と tvec を取得しました。

問題は、どのようにカメラの位置を取得し、Rvec と tvec からその軌道を描くことができるかです。次の2つの式は正しいですか？

1.Rcur=Rvec * Rcur

2.tcur=tcur+scale*(Rcur * tvec)

なぜなら、Avi Singhが 2d-2d モーション推定でそれらを使用していることがわかったからです。

3d-2d モーション推定を使用した単眼視覚オドメトリについて推奨する論文はありますか。

私はこの論文を読んでいますが、明確でない点があります。彼らのアルゴリズムでは体の部分を使用していますが、体の部分を取得する方法を見つけることができませんでした。体のパーツを簡単に入手する方法はありますか?

ペーパーリンク

私は OpenCV を使用して人の視線推定を行っています。現在、ユーザーの視線 (各目) のベクトルと目の中心の座標がすべて 3D 世界座標にあります。

ユーザーが画面上のどこを見ているかをおおよそ把握したい。いくつかのアプローチを試みましたが、結果は不正確でした。どうすればこれを行うことができますか？

わかりましたので、サッカーの試合のホモグラフィーを見つけようとしています。私が今まで持っているのは

1. 基本的にテンプレート サッカー フィールドの多数のトリミングされた画像であるフォルダーから画像を読み取ります。基本的にはセンターサークルやペナルティラインなどの画像があります。
2. ファイルからビデオ ストリームを読み取り、多数の小さなセグメントにトリミングします。
3. ビデオ ストリーム内の画像と、フォルダーから読み取った画像の別のループ内でループします。
4. 反復によって取得した 2 つの画像では、フィールドが緑色であると仮定して、緑色のフィルターを適用しました。
5. orb を使用してポイントを見つけてから、一致を見つけます。

問題は、プレーヤーとクラウドからのノイズのために、ホモグラフィーの適切な一致を見つけることができないことです。また、それらを削除すると、ホモグラフィを計算する必要があるサッカー場の線が隠れてしまう傾向があるため、問題になります。

これに関する提案は大歓迎です。また、以下は私が使用しているサンプルコードと画像です。

「使用中のコード」

サンプル画像

私が得ている出力

出力の右側の画像はビデオのフレームで、左側の画像は、コードからわかるように、filterGreen 関数の後にアップロードした同じサンプル画像です。

最後に、画像を中央の円に適切にマップして、中央に立方体を描画できるようにする必要があります。 「この例」と多少似ています。助けてくれてありがとう。

この画像の左の顔のように正面以外から同じ画像の右の顔のように正面に顔を回転できないという問題に 1 週​​間苦労しました。

1)。次のように、learnopencv Web サイトの delaunay に関するチュートリアルを使用して、左面のすべての三角形 (約 138 個の三角形) を取得します。

2)。およびこのライブラリ: https://github.com/chili-epfl/attention-tracker (頭の姿勢を推定できます) は、左顔の頭の姿勢の 4x4 行列変換を取得します。この行列は関数の結果のようですRodriguesopencvで。

したがって、ステップ 1 のすべての三角形をステップ 2 の 4x4 マトリックスで回転させて、右面の結果を取得する次の動きはわかりません。助けてください！

同じオブジェクトを反対方向から見ている 2 つ以上のカメラを備えたカメラのセットアップがあります。

非対称円パターンと cv::stereoCalibrate を使用して、これらのカメラ間の変換を見つけたいと考えています。この設定でうまくいきますか？

私が気づいた最初の問題は、OpenCV が反転パターンを見つけることができないため、2 番目のカメラがパターンを認識しないことです。それを解決するために、2 番目のカメラの x について画像を反転し、見つかったポイントを反転します。

Prince の本Computer Vision: Models, Inference, and Learningを読んでいます。具体的には、カメラ パラメーターと姿勢推定の問題を理解することを目的としていますが、外部カメラ パラメーターに問題があります。私が理解しているように、外部カメラパラメータは回転行列と並進ベクトルで構成されています。回転行列は、ワールド座標系をカメラ座標フレームに変換します。私の質問は、回転行列が厳密な意味での回転行列かどうかです。それは直交しており、行列式は 1 です。

幾何学的変換に関する次の章で、彼はカメラが平面 (w/z 座標 = 0) を見ている場合について説明し、外部カメラ行列によって表されるアフィン変換と射影変換を紹介しているので、私が尋ねます。そのような変換は回転行列を使用して達成できないため、私は混乱していますか、それとも間違っていますか? 一般的に混乱

キャリブレーションされていないマルチビュー画像から 3D 再構成を取得しようとしています。カメラの固有パラメータがわからない

私はSIFT機能を持っています。

私がやりたいことは、RANSAC と組み合わせて 5 ポイント アルゴリズムを使用して外れ値をフィルタリングすることです。これにより、相対姿勢の最適化と一致したポイントの三角測量に進むことができます。

Opencv には 1 つの API findEssentialMat(); があります。その API にはフォーカルと pp が必要です。どこでフォーカルと pp を使用できますか? この API findEssentialMat() は、ポーズの推定に使用する必要がある正しいものですか? 私のアプローチが間違っている場合、OpenCV で達成したいことに近い API はありますか? ありがとう