問題タブ [photogrammetry]

COLMAP を使用して写真から 3D メッシュを生成しようとしていますが、得られるのは役に立たない点群だけです。

YouTube のさまざまなチュートリアルを調べましたが、得られる結果は、主にソリッド 3D メッシュを取得できないという点で、私が見ているものとは異なります。

一貫した露出を得るために、露出をロックして 4K で撮影でき、必要に応じて被写体に焦点を合わせる ProMovie+ という iPhone アプリを購入しました。(iPhone に組み込まれている AE/AF ロック機能により、多くのショットが焦点から外れていましたが、このアプリはそれを解決しました。)

次に、結果の 4K ビデオから静止画の PNG 画像を保存しました。ソース画像に関する限り、すべてが十分に高品質のようです.

最初は、1 秒あたり 1 PNG のフッテージをキャプチャしました。それで良い結果が得られなかった後、FPS をさまざまな増分で上げてみました。そのため、フレームデータが不十分であるという問題を除外しています。私のキャプチャが貧弱になる原因は他にあるに違いありません。

これが私が最終的にするものです：

カメラの位置は赤で表されます。使用可能な結果を​​得るために非常に多くのフレーム (500 近く) のデータを使用したため、1 本の大きな赤い実線で表示されます。点群に黄色いものが突き出ているのがわかりますか? それが私が捕まえようとした物体です。あまり何にも似ていません...

私は次のような結果を期待していました (ビデオ チュートリアルから取得):

COLMAP はこれに近いものを生成しないため、明らかに私は非常に間違ったことをしています。COLMAP から MeshLab にエクスポートされた .ply ファイルを取得したら、Point Size スライダーを上げたときに頂点の色を区別できます。

しかし、頂点の色しか表示されず、ジオメトリに面がないため、面を生成できるかどうか、またはこの 3D データを使用できるかどうかがまったくわかりません。

更新:フォローしていた他のチュートリアルよりもはるかに優れたチュートリアルを見つけました。疎再構成がプロセスの最初の部分であり、密な再構成が 2 番目の部分である方法を詳細に説明します。残念ながら、COLMAP の開発者は、CUDA なしで密な再構成を実行する方法を提供しないという、良くないことをしました。

彼らは、CPU でそれを行うと遅くなるという貧弱な言い訳を提供します。彼らは私に新しいコンピュータを買いに行くように言っているのだと思います。

そのため、このギャップを埋めることができる他のソフトウェアがあるかどうか、または COLMAP をハックして CPU を使用する方法があるかどうかを調査しています。

更新 #2 : 密なステレオ再構成のために VSFM をインストールしようとしましたが、インストーラーが提供されていないため、ビルドする必要があります。うまくいったことは次のとおりです。

2D 画像/ビデオを 3D モデルに変換するアプリケーションを作成したいと考えています。それについて調査しているときに、Trnio、Scann3D、Qlone、および他のいくつかのような同様のアプリケーションを見つけました（ただし、それらのいくつかは出力の悪い3Dモデルを提供します）。また、microsoft の研究によって立ち上げられた mobileFusion と呼ばれるテクノロジについても知りました。これは、自分のアプリケーションに望んでいたのと同じビジョンを示しましたが、これらのアプリはそうではありませんでした。