私の質問に関連する以前の質問（ここ、ここ、ここ）がありましたが、私の質問はそれとは異なる側面を持っており、以前に尋ねられた質問のいずれにも見られませんでした。
Kinect深度センサーを使用して研究用のデータセットを取得しました。このデータセットは、特定の瞬間の深度とrgbストリームの両方の.png画像の形式です。以下に、より多くのアイデアを与えるためのフレームがあります。
編集：ここにエッジ検出出力を追加しています。
SobelEdge検出出力：
RGB画像
深度画像
今私がやろうとしているのは、これら2つのフレームを揃えて、結合されたRGBZ画像を作成することです。
基礎となるカメラの特性や、RGBセンサーと赤外線センサーの両方の間の距離についての知識がありません。
RGB値を対応するZ値に一致させるために適用できる方法はありますか？
私が持っているアイデアの1つは、両方の画像でエッジを使用し、それらを一致させようとすることです。
これは、同じ問題が発生している方のためのものです。私が見つけたものを共有することが役立つかもしれないと思いました。
Billから通知されたように、カメラのキャリブレーションがこの問題の最善の解決策です。
しかし、ホモグラフィとエピポーラ線を使用すると、両方の画像を位置合わせできることがわかりました。これには、両方の画像で少なくとも8つの一致する機能が必要です。これは、深度画像を処理する場合の難しい問題です。
これらの画像をキャリブレーションするためのいくつかの試みがありましたが、ここで見つけることができ、ここでは両方ともキャリブレーションするためのキャリブレーションパターンが必要です。私が達成しようとしていたのは、すでにキャプチャされた深度とrgb画像を位置合わせすることでした。これは、記録に使用したのと同じkinectセンサーからパラメーターをキャリブレーションすることで実行できます。
この問題を回避する最善の方法は、OpenNIとKinectSDKの組み込みライブラリ関数を使用して両方の画像を整列させることです。
一般に、RGB画像と深度画像のペアから実行しようとしていることは重要であり、明確に定義されていません。人間として、私たちはRGB画像で腕を認識し、それをカメラに近い深度画像の領域に関連付けることができます。ただし、コンピュータには、RGB画像のどの部分が深度画像のどの部分に対応すると予想されるかについての事前の知識がありません。
このような位置合わせのほとんどのアルゴリズムがカメラキャリブレーションを使用する理由は、このプロセスにより、この不適切な問題が適切に設定されるようになるためです。
ただし、特に同じKinectからの画像ペアが多数ある場合は、対応を見つける方法がまだある可能性があります。次に、1セットの変換パラメータを検索するだけで済みます。これを行うための既存のアルゴリズムはわかりませんが、質問で指摘しているように、両方の画像でエッジ検出を実行し、エッジ画像を位置合わせすることから始めるのがよいでしょう。
最後に、オブジェクトがKinectに近づくと、画像がキャリブレーションされた後でも、RGB画像と深度画像の対応が悪くなる可能性があることに注意してください。この効果の一部を画像で確認できます。例の深度画像で手が作る「影」は、これをいくらか示しています。