問題タブ [stereoscopy]

私はクロムVR Webアプリを開発中です。今、私はウェブサイトを私の立体シーンにレンダリングする方法を必死に理解しようとしています。

そのため、メッシュ用のレンダラーがあり、うまく機能します。次のコードは、関連するスニペットのみです。

次に、webgl レンダラーを受け取るステレオエフェクト レンダラーがあります。

次に、Web サイト レンダラーを作成し、それを立体効果に適用します。

次に、レンダリングされているシーンがあります。

いいえ、私が受け取るのはこれです：

私のメッシュの立体画像ですが、ウェブサイトの非立体画像です。問題は、css レンダラーを StereoEffect レンダラーに追加しようとすると、setViewport 関数 (特に、おそらく) が見つからないことです。
Web サイト オブジェクトを webgl レンダラーに追加しようとしましたが、Web サイトをレンダリングしたくないため、メッシュを使用して Web サイト オブジェクトをシーンに追加しても機能しません。

どんな助けでも大歓迎です！

この質問は、ここで回答された質問を参照しています。
受け入れられた答えは、その場でラベルを作成することを提案しています。非常によく似た問題がありますが、HDF5 を使用する必要があります。

ここに私のprototxtがあります：

ご理解いただけると思いますが、2 つの別個のデータ HDF5 データ ファイルを作成します。それらは、正または負のサンプルである左と右の画像を同じインデックス上に持つことにより、正と負のサンプルで構成されます。labels_left と labels_right は、1 と 0 の同一の matlab 配列です。以前は単一のラベル配列を使用しようとしましたが、caffe でエラーが発生しました。これは、2 つのプロセスが衝突していることを示しているようです。ラベル配列のコピーに変更すると、トレーニングが開始される可能性があります。

以下は、私が現在使用している Matlab データ作成ファイルの一部です。データは KITTI データです。

最後のミニバッチでは損失は許容できますが、テストでは高すぎるままです

ご意見をお聞かせください。(動作しない場合があります)。エラーがある場合、それはおそらく非常に微妙です。

シーン内のオブジェクトの深度を取得しようとしていますが、カメラ以外のセンサーを使用したくありません (2 台のカメラを使用できます)。

したがって、「ステレオ マッチング」の問題であると考えており、ステレオ画像から視差マップを抽出して深度情報を取得することを計画しています。

しかし、問題は、次のような制約があることです。

1. 2 台のカメラが位置合わせされていません。(x, y, z) の位置がすべて異なります。
2. 2 台のカメラの FOV (Field Of View) が異なります。一方は他方よりも広いです。
3. 2 つのカメラの視点が異なります。
4. 2 台のカメラの解像度が異なります。

この場合、正しくステレオマッチングできるでしょうか？もしそうなら、どのようにそれが可能ですか？

ステレオ マッチングでは、エピポーラ ジオメトリと基本行列が非常に重要であることを知っています。しかし、私の知る限り、基本行列は常に 1 つのカメラに属します。2 台のカメラからの 2 つの基本行列間の関係が、この問題の解決策になるのでしょうか?

ありがとうございました。

- - - - - - - - - - - - - - - - - 編集 - - - - - - - - ----------------------

異なるカメラ、解像度、視点、FOV でのステレオ画像

修正された画像

MATLAB の Stereo Camera Calibrator で stereoParams を取得し、それを使用して補正を行いました。

しかし、調整された画像は歪んでいて、視差マップを取得できません。

私は正しく進んでいるのだろうか、そうでないのだろうか。

何か提案はありますか？ありがとうございました。

私は古いスタイルの OpenGL 2.0 に慣れていて、ステレオスコピック レンダリングの設定は次のように簡単でした。

1. glDrawBuffer (GL_BACK_LEFT) を使用して左後方のバッファを選択します。
2. glMatrixMode() と glFrustum() を使用して、左目の錐台をセットアップします。
3. 左目ビューのレンダリング ジオメトリ。
4. 右目ビューについて、手順 1 ～ 3 を繰り返します。

最新の OpenGL には glMatrixMode() または glFrustum() 関数がなくなったため、OpenGL シェーダーを使用してステレオ設定を説明できる人はいますか? 左目ビューと右目ビューをセットアップするための一連のイベントは? GPU がクアッド バッファー ステレオをサポートしていると仮定していることに注意してください。ありがとうございました。

カメラから動的オブジェクト(移動中の車など)までの距離をステレオカメラで測定するために使用しようとしています。正方形のサイズが 89 mm (~ 3.5 インチ) の 7 x 8 の正方形のチェッカーボード パターンを使用しました。カメラからパターンまでの距離は 212 cm (~ 83.5 インチ) でした。私はPythonとOpenCVを使用しています

私の質問は次のとおりです。

1. パターンからカメラまでの距離は、キャリブレーション パラメーターに大きな影響を与えますか? Matlab の例の 1 つで、キャリブレーション プロセスでのカメラからパターンまでの距離は、測定したいオブジェクトの距離と同じにする必要があると述べられています1。

2. アプリケーションでより正確な結果を得るには、より大きな基板サイズを使用し、カメラからパターンまでの距離を長くする必要がありますか?

平面視と立体視の 360 度ビデオのニュアンスをよりよく理解するために、iOS 用の 360 度ビデオ ビューアーを作成しています。事実上、私は Google Cardboard SDK の機能をリバース エンジニアリングしようとしています。

進行中のコードはこちら: https://github.com/alfiehanssen/ThreeSixtyPlayer

平面視ビデオと立体視ビデオの基本を理解しています。立体視ビデオを表示するために必要なクライアント側の構成/変換をよりよく理解したいと思います。

具体的には、次の 2 つの部分があります。

1. Cardboard は、モノスコピック ビデオ ファイルをステレオスコピック モードで表示できます。まったく同じビデオがそれぞれの目に表示されていますが、それぞれの目のビデオ ビューは明らかに異なります。これを機能させるために、各目にどのような変換が行われていますか?

2. 立体映像の場合 (上/下のレイアウトを想定しましょう)、それぞれの目のビデオ ビューに変換が適用されているようにも見えます。それぞれの目のビデオ ビューに適用される変換は何ですか?

ビデオが歪んでいるように見えます。各目のビデオのすべての側面に適用された黒いマスクがあります。これらはどこから来ているのですか / それらは変換の結果ですか?

Cardboard ビューのサンプル スクリーンショット:

OpenCV の SGBM 実装で視差マップを作成しています。特に、OpenCV バージョン 2.4.9 を使用しています。現在、次のパラメータを使用しています。

ただし、結果は必要なほど良くありません。 ご覧のとおり、地面は縞模様に見えます。これは、私が使用している障害物検出アルゴリズムに問題を引き起こします。これは、論文の実装である高速で信頼性の高い障害物検出とクロス・国別ナビ。問題は、これらのストリップの視差がかなり一定であるため、理論的には地面に対してほぼ垂直であるため、アルゴリズムがそれらを障害物として分類することです。

平滑化パラメーター P1 と特に P2 を少し試して、P2 を増やすと改善されるかどうかをテストしましたが、問題が解決しないようです。そのため、OpenCV サンプルで推奨されているとおりにしました。

画像は KITTI データセットからのもので、既に修正済みのものをダウンロードしたので、不適切なキャリブレーションやカメラの位置合わせを破棄しました。

テクスチャのない地面が原因ではないかと思いますが、そうでないことを願っています。そうでない場合は、障害物検出アルゴリズムを変更する必要があることを意味します。

何か案は？