私は現在、ロンドン大学で BSc Creative Computing の勉強をしており、研究の最後の年にいます。学位を取得するために残した唯一のモジュールはプロジェクトです。
私はコンテンツベースの画像検索の分野に非常に興味があり、私のプロジェクトのアイデアはそのコンセプトに基づいています。一言で言えば、私の考えは、3D モデルを参照として使用して、初心者のアーティストが遠近法でスケッチを描くのを助けることです。コレクション内の各 3D モデルの側面図、上面図、正面図をレンダリングし、これらの画像を前処理してインデックスを作成することで、これを実現するつもりです。描画中に、ユーザーは自分のスケッチに最適な一連のモデル (前処理済み) を取得します。これは、スケッチをさらに強化するためのガイドラインとして使用できます。このアプローチは 3D モデルに依存しているため、ユーザーは 3D 空間でスケッチを回転させ、その視点に基づいて描画を続けることもできます。このようなアプローチは、コミック アーティストやコンセプト デザイナーがアイデアをすばやくスケッチするのに役立ちます。
調査を行っているときにLIReに出会い、本当に感銘を受けたと言わざるを得ません。LIRe デモ v0.9 をダウンロードし、付属のサンプルをいじってみました。また、エンジンの内部動作をよりよく理解するために、同様の画像を自動的にダウンロード、インデックス付け、検索する小さなアプリケーションも開発しました。どちらのアプローチも、限られた画像セット (~300) でも非常に良い結果を返しました。
次の実験は、実際の画像ではなくスケッチが入力として提供された場合の出力応答をテストすることでした。前述のように、システムは、ユーザーのスケッチに基づいて、一致するモデルのセットを提供できる必要があります。これは、スケッチをレンダリングされたイメージ (もちろん、3D モデルにリンクされます) と一致させることで実現できます。いくつかのスケッチを小さな画像セットと比較してこのアプローチを試みたところ、結果は非常に良好でした - http://claytoncurmi.net/wordpress/?p=17を参照してください。しかし、別の画像セットで試したところ、前のシナリオほど良い結果は得られませんでした。LIRe が提供する Bag of Visual Words (SURF を使用) 手法を使用して、インデックスを作成および検索しました。
また、 OpenCVに付属するサンプル コードも試しています(このライブラリを使用したことがなく、まだ道を模索中です)。
それで、私の質問は次のとおりです。
1.スケッチベースの画像検索システムを実装しようとした人はいますか? もしそうなら、あなたはそれについてどうしましたか？
2.LIRe/OpenCV をスケッチベースの画像検索に使用できますか? もしそうなら、これはどのように行うことができますか？
PS。このテーマに関する論文をいくつか読みましたが、そのようなシステムの実際の実装に関するドキュメントは見つかりませんでした。
ヘルプやフィードバックは大歓迎です。
よろしく、
クレイトン