2台のカメラでコンピュータービジョンを設定しています。このカメラの1つは、飛行時間型カメラです。それは私にすべてのピクセルでシーンの深さを与えます。もう1台のカメラは、シーンのカラー画像を提供する標準カメラです。
深度情報を使用して、カラー画像から一部の領域を削除したいと思います。カラー画像での物体、人物、手の追跡を計画しており、飛行時間型カメラを使用して遠くの背景ピクセルを削除したいと考えています。カメラを並列セットアップで位置合わせできるかどうかはまだわかりません。
計算にはOpenCvまたはMatlabを使用できます。
整流、エピポーラ幾何学などについてたくさん読みましたが、すべてのピクセルの対応を計算するために必要な手順を確認するのにまだ問題があります。
どのアプローチを使用し、どの機能を使用できるか。問題をどのステップで分割しますか？どこかにチュートリアルやサンプルコードがありますか？
更新シーンに配置された既知のマーカーを使用して自動キャリブレーションを実行する予定です
If you want robust correspondences, you should consider SIFT. There are several implementations in MATLAB - I use the Vedaldi-Fulkerson VL Feat library.
If you really need fast performance (and I think you don't), you should think about using OpenCV's SURF detector.
If you have any other questions, do ask. This other answer of mine might be useful.
PS: By correspondences, I'm assuming you want to find the coordinates of a projection of the same 3D point on both your images - i.e. the coordinates (i,j) of a pixel u_A in Image A and u_B in Image B which is a projection of the same point in 3D.