問題タブ [image-registration]

テスト ケースの 1 つで動作する Android 用の OpenCV を使用して Image Alignment を実装しようとしましたが、別のテスト ケースでは動作しませんでした。

テスト ケース #1 - 私のコードが機能した場合:

たとえばScene ImageとObject Imageのような 2 つの画像が与えられた場合、

出力オブジェクトの画像をシーンの画像に揃えたい。最終出力を確認してください。

テスト ケース #2 - 私のコードが機能しなかった場合:

与えられた画像、シーン画像、オブジェクト画像、

この機能マッチング結果と、これを warpPerspective への出力として取得しました。

私の質問は、2 番目のテスト ケースで画像を整列できない理由を教えてください。

LWIR と RGB 画像間の画像登録に取り組んでいます。両方の画像からエッジを抽出できます。 RGB_Edges、LWIR_Edges

次に、これらの画像のエッジを一致させて、ホモグラフィを計算します。テンプレート マッチング (OpenCV) を使用して、RGB の各エッジを LWIR 画像と個別に一致させようとしましたが、うまくいきませんでした。

したがって、ホモグラフィを計算するのに役立つ両方の画像からエッジ/構造を一致させる方法を誰かが提案できますか?

提案/ヘルプをいただければ幸いです。

ありがとう。

B-Splines を変形モデルとして使用して非剛体画像の自動レジストレーションを作成しようとしていますが、いくつか問題があります。

1. 最初に、いくつかのコントロール ポイント (5x5) を配置し、しばらくすると結果は良好になりましたが、処理時間が非常に長くなりました。
2. 私はイメージ レジストレーションに関する多くの記事を読みました (Rueckert, et.al, 1999 など)。パフォーマンスを改善するために、著者はマルチレベルの B スプライン変形を使用していますが、アルゴリズムは完全にはわかりません。
3. この記事では、著者は一連の数式 (セクション 4.2) を提示して、B スプラインの形状を変更せずに制御点の数を増やしていますが、私の実装では期待した結果が返されません (たとえば、この新しい10x10 コントロール ポイント変換と同じ 5x5 変換があります)。

これが私のMATLAB実装です：

私は何を間違っていますか？

幾何学的変換行列を座標のリストに適用したい:

たとえば、A と B の 2 つの画像があります。MATLAB アプリ 'Registration estimator' を使用して、A (動画) を B (固定画像) に登録し、変換行列 T を取得しました。

これで、画像 A の座標のリストがあり、登録された画像の変換された座標を取得したいと考えています。私は何をすべきか？変換行列で座標を直接掛けるとうまくいかないようです。

たとえば、画像 A は 200*300 ピクセルで、画像 B は 210*290 ピクセルです。変換行列を画像Aの座標で直接乗算すると、計算された座標もAの座標系に対応しますが、Bの座標系には対応しません。私が欲しいのは、Bの座標系の下の座標です.

画像登録/位置合わせの基本的なフローまたはプロセスは知っていますが、2 つの画像が位置合わせ/位置合わせされるとピクセル レベルで何が起こるか、つまり、固定画像に変換される動画の類似ピクセルはそのまま保持されますが、そのピクセルはどうなりますか?一致していませんか、それらは平均化されていますか、それとも何か他のものですか?

また、正しい変換手法はどのように推定されますか。つまり、平行移動、スケーリング、回転などを適用するかどうか、および適用する量 (つまり、回転の角度の値、平行移動の値など) をどのように知ることができますか?

また、最初のステップで、類似したピクセル値がどのように識別され、一致するのでしょうか?

https://simpleitk.readthedocs.io/en/master/Examples/ImageRegistrationMethod1/Documentation.htmlにある python コードを実装しました。

入力画像は前立腺 MRI スキャンのものです。

固定画像 動画 出力画像 コンソール出力

違いは、右上と左上の出力画像で確認できます。しかし、コンソールの出力と、物事が実際に内部でどのように機能するかを解釈することはできません。

このことについて深い説明をいただけると大変助かります。ありがとうございました。