フォーラムで同様の質問を見つけました。しかし、そこにある答えは私の質問には答えません。
最初の画像で特徴検出 (goodFeaturesToTrack)を 1 回だけ行い、オプティカル フロー (calcOpticalFlowPyrLK) を使用してこれらの特徴を追跡すると、最初の画像で検出された特徴のみを追跡できるという問題があります。これらの特徴が画像を超えると、追跡する特徴がなくなります。
新しい画像ごとに特徴検出を行うと、前回検出された特徴が今回は検出されない可能性があるため、特徴追跡は安定しません。
3D 再構成にオプティカル フローを使用しています。したがって、どの機能を追跡することに関心があるわけではなく、視野内の機能が安定して追跡できるかどうかだけに関心があります。要約すると、私の質問は次のとおりです。オプティカルフローを使用して古い機能を追跡し、その間に視野に入ってくる新しい画像機能を追加し、視野を超える古い機能を削除するにはどうすればよいですか?
いくつかのアプローチが可能です。良い方法は次のようになります。
この方法では、基本的に、最後の2つのキーフレーム間のカメラの動きを推定します。
3D再構成にどのアプローチが使用されるかについて言及しなかったので、最初にモーションを推定するためにHまたはFのいずれかが計算されると仮定しました。それらを正確に見積もるには、キーフレーム間のベースラインをできるだけ広くする必要があります。一般的に、最良の戦略は、カメラのラフモーションモデルを考慮に入れることです。カメラを手で持っている場合は、カメラを車やロボットの上に固定する場合とは異なる戦略を使用する必要があります。それが助けになるなら、私はPythonで最小限の実用的な例を提供することができます、私に知らせてください。
既存の機能に新しい機能を追加する別の良い方法があります。にマスクを渡すことができますcv::goodFeaturesToTrack()。したがって、新しいマット (元の画像と同じサイズtype: CV_8UC1) を作成し、すべてのピクセルを 255 に設定して、各特徴点を黒い円としてこのマットに描画します。このマスクをgoodFeaturesToTrack()これらの黒い円に渡すと、関数によってスキップされます。
また、機能の量を制限することをお勧めします。に制限するとしましょうMAX_FEATURES = 300。次に、トラックが よりも少ないかどうかをすべてのサイクルで確認しますMAX_FEATURES - z (e.g. z = 30)。その場合は、上記のように最大 z 個の新機能を検索し、それらを機能コンテナーに追加します。
また、追跡に失敗した場合は、機能を積極的に削除する必要があることに注意してください。したがって、 のステータス出力を確認する必要がありますcalcOpticalFlowPyrLK。