問題タブ [correspondence]

2台のカメラでコンピュータービジョンを設定しています。このカメラの1つは、飛行時間型カメラです。それは私にすべてのピクセルでシーンの深さを与えます。もう1台のカメラは、シーンのカラー画像を提供する標準カメラです。

深度情報を使用して、カラー画像から一部の領域を削除したいと思います。カラー画像での物体、人物、手の追跡を計画しており、飛行時間型カメラを使用して遠くの背景ピクセルを削除したいと考えています。カメラを並列セットアップで位置合わせできるかどうかはまだわかりません。

計算にはOpenCvまたはMatlabを使用できます。

整流、エピポーラ幾何学などについてたくさん読みましたが、すべてのピクセルの対応を計算するために必要な手順を確認するのにまだ問題があります。

どのアプローチを使用し、どの機能を使用できるか。問題をどのステップで分割しますか？どこかにチュートリアルやサンプルコードがありますか？

更新シーンに配置された既知のマーカーを使用して自動キャリブレーションを実行する予定です

私は2つの画像を持っています.1つは左で、もう1つは右の画像です。視差マッピングを実装したい。私の心にはいくつかの質問があります。

最初のディスパーティ画像は1チャンネルのグレー画像ですが、左右の画像は3チャンネルのbgr画像です。これらの 3 チャンネルの画像をグレー画像に変換すると、情報が失われますか? はいの場合、3 チャンネルの画像から 1 チャンネルの視差画像に視差画像を取得するにはどうすればよいですか。視差画像を取得するために、3チャンネルの画像を1チャンネルの画像に降格するにはどうすればよいですか？

答えてくれてありがとう..

カメラ画像から抽出した特徴点の 3D 位置を再構築したいプロジェクトに取り組んでいます。アイデアは次のとおりです。

• カメラ録画 (グレースケール情報、VGA サイズ: 640 x 480)
• カメラフレームの特徴点を抽出します（これにはSIFTを使用しています）
• frame[k-1] の機能を frame[k] の機能に対応させます (これには RANSAC を使用する予定です。詳しくは後で説明します...)
• これらの特徴点間の相対距離情報を計算/推定します (これは (x,y,z) 座標系になります)

RANSAC は再構成に使用されるアルゴリズムであり、最終結果はある種の点群になるという多くの論文を読みました。それだけできるようになりたい。しかし、私はいくつかの問題に遭遇しました。皆さんが私を助けてくれることを願っています.

最初の問題は、RANSAC を使用してこのポイント通信を実行する方法がよくわからないことです。RANSAC がモデル フィッティング ツールであるという概念は理解していますが、対応解決にどのように使用できるかわかりません。

2 番目の問題は、対応情報があると仮定して、これらすべてのポイント間の何らかの距離情報を取得する方法です。透視投影を使用してこれを解決できることを読んだことがあります。次に、基本マトリックスを推定する必要があります。次に、点群を取得できるように数学の魔法を実行します。ポイントは、基本マトリックスの実際の値が何を意味するのか理解できないということです。2台のカメラ（または私の場合、カメラが動いているビデオの2フレーム）の位置の間に数学的な関係があり、エピポーラジオメトリを利用していることを知っています。しかし、これ以外に、ファンダメンタル マトリックスが実際に何を意味するのか、私にはまったくわかりません。この 3x3 マトリックスは、あるカメラと別のカメラの 6DOF をどのように捉えているのでしょうか? また、「数学の魔法」だと思います

したがって、私の質問は次のとおりです。あなたの誰かが私を正しい方向に向けることができますか? これまでに読んだ論文の参考文献を掘り下げてきましたが、これらは「RANSACアルゴリズムを使用してこれを解決する」という行も与えており、間違っていると感じています。方向。おそらく素人の言葉やイラストを使って、これらのことについての良い説明はありますか？要するに、どこを見ればいいのですか、またはこのとらえどころのない情報をどこで見つけることができますか?

前もってありがとう、Xilconic

PS: ウィキペディアをチェックしましたが、あまり役に立ちません。「ファンダメンタル マトリックス ソング」も聴きましたが、同じ話です。

次のタイプのアルゴリズムを探しています。

2D には n 個の一致する点のペアがあります。アフィン / ヘルマート変換に従って外れているポイントのペアを特定し、それらを変換キーから除外するにはどうすればよいですか? そのような離れたペアの正確な数はわかりません。

ペアの ak パーセンテージが正しいという基本的な仮定があるため、Trimmed Least Squares メソッドを使用できません。しかし、サンプルに関する情報はなく、k もわかりません... そのようなサンプルでは、​​すべてのペアが正しい場合もあれば、その逆の場合もあります。

この問題に適したアルゴリズムの種類はどれですか?

私はOpenCVを学ぼうとしています。ホモグラフィとエピポーラ幾何学について質問があります。

2つの異なる視点から2つのカメラで撮影された2つの静止画像の一致した特徴点を使用してcvFindHomography（）関数を使用してホモグラフィを計算したとします。

ホモグラフィ行列を再利用して、camera2（左）によって撮影された画像からカメラ1（右）の対応するポイントを検出するのは間違っていますか（左の画像の2dの均質な特徴点は、右の画像の2dの対応する均質な特徴であることx' = H.xがわかっているため）ポイントとホモグラフィマトリックス）カメラ1とカメラ2の2dポイントがホモグラフィマトリックスの計算に使用されなかった場合？x'xH

私が尋ねるのは、これら2つのカメラの計算されたホモグラフィ行列を再利用して、ホモグラフィ行列の計算に使用されていない画像に対応するポイントを見つけることができるかどうかです。

固定画像で決定されたときに使用する画像は重要ですか？または毎回計算する必要がありますか？

オブジェクトがあり、ある角度で kinect から RGB データと深度データを取得したとします。次に、別の角度からオブジェクトの 2 番目の写真を撮ることができるように、kinect を少し動かしました。両方の画像からの対応に基づいて、kinect カメラが元の位置からどれだけ移動および回転したかを判断する最良の方法を見つけようとしています。

私は特定の画像処理タスクに OpenCV を使用しており、2 つの 2D 画像から適切な対応を見つけるように見える SURF アルゴリズムを調べました。ただし、深度データは考慮されておらず、複数の画像ではうまく機能しないと思います。さらに、通信から翻訳/回転データを取得する方法がわかりません..おそらく私は間違った方向を見ていますか?

注: 私の長期的な目標は、複数の画像を「結合」して、すべてのデータから 3D モデルを形成することです。現時点では、キネクトが配置されている角度を指定すると多少は機能しますが、パラメーターを手動で指定するのではなく、対応関係を見つけることで、関連する「エラー」(つまり、あるべき場所からわずかにずれたポイント) を減らす方がはるかに良いと思います

kmeans分析を実行するために以下を使用しています。

library(fpc)また、次のようにビジュアルを取得するためにを使用してkmeans分析をプロットしました。

結果は次のとおりです。

の各行はmat2、プロット内のポイントに対応します。マトリックスの各行に次の名前を付けました。

次の属性によって、マトリックスの各行のメンバーシップを見つけることができます。

これにより、マトリックスの各行の名前と、それに続くプロットの対応する整数が示されます。しかし、もっと多くのデータにアクセスしたいと思います。

これらのクラスターポイントからより多くのデータにアクセスするにはどうすればよいですか？たとえば、プロットの整数と行列の行の対応を見つけたいと思います。明確にするために、この質問に答えることで、マトリックスのどの行がプロットの最高の2に対応するかを知ることができますか？どの整数が行列のどの行に対応するかがわかれば、行列の各行の名前がわかり、意味のある解釈を与えることができます。

また、プロット内の点とそれが属するクラスターの中心との間の距離測度を見つけたいと思います。プロットの（x、y）座標とマトリックスの行の間の対応を取得できますか？プロット内のクラスターポイントをクリックすると、上記のデータの一部をより多く表示できるように、インタラクティブなGUIを取得できますか？プロットに別のライブラリを使用することもできます。2つの質問に要約します。

1. プロットの整数と行列の行の対応をどのように取得できますか？
2. これをはるかに簡単にする既存のパッケージまたはツールはありますか？

すべての助けは大歓迎です！

これがまだ答えられていないことを願っていますが、どこにも見つかりませんでした。私の問題は非常に単純です: scipy を使用して画像の oblic プロファイルを計算しようとしています。それを行うための1つの優れた方法は次のとおりです。

1. セグメントの開始と終了を指定して、プロファイルが必要なセグメントを見つけます。
2. セグメントを含む最小限の画像を抽出し、
3. 素敵な生に沿って目的のプロファイルを取得するために画像を回転させる角度を計算し、
4. 生のまま抽出します。

それが理論です。

私のプロファイルは raw numberarray.shape[0]/2に入る必要があるため、現在 (4) で立ち往生していますが、回転するとデータの下にゼロの行が追加され、左側の列が追加されることがあります。したがって、正しい生の数をシフトできます...

たとえば、 scipy で使用される対応行列を使用して、正しい生の数値を取得する方法を知っている人はいますか?

ありがとう。