基本的に私たちが持っているのは、OpenGL オブジェクトのモデルビュー マトリックスです。これにより、Rotation および Translation ベクトルが得られます。これらを使用して、いくつかの計算で実際の位置を取得します。
-R*t, where R is [0 4 8; 1 5 9; 2 6 10] matrix and t is [12 13 14] column vector.
OpenCV にはx,y
、指先の画面座標があります。
ここで、このx,y
画面を OpenGL の実際の座標と比較して、どのオブジェクトに指が当たったかを確認する方法が必要です。試してみgluUnProject
ましたが、x、y から正しい実世界の座標が返されませんでした。
ここで試す方法は、ARToolKit と OpenCV を併用しているので、AR のマーカーに基づいてモデルビュー マトリックスが変化します。また、ARToolkit カメラ モジュールを使用しています。