問題タブ [cbir]

私は CBIR システムを構築しようとしていますが、最近、OpenCV 関数を使用して Python でプログラムを作成しました。これにより、画像のローカル データベースにクエリを実行し、結果を返すことができます (このチュートリアルに従ってください)。これを別のWebスクレイピングモジュール（Scrapyを使用）とリンクする必要があり、オンラインで画像へのリンクを最大1000個出力します。これらの画像は Web 全体に散らばっており、最初の OpenCV モジュールに入力する必要があります。このオンライン画像セットをダウンロードせずに計算を実行することは可能ですか?

これらは、OpenCV モジュールで従った手順です

1) 領域ベースのカラー画像記述子を定義する

2) データセットから特徴を抽出する (インデックス作成) (データセットはコマンド ライン引数として渡されます)

3) 類似性メトリックの定義

`

4) 実際の検索を実行する

最後のコマンド ライン コマンドは次のとおりです。

ここで、index.csv は、画像のデータベースでステップ 2 の後に生成されたファイルです。query.png は私のクエリ画像で、dataset は ~100 個の画像を含むフォルダーです。

では、ローカル データセットを必要とせず、クエリとインデックス作成を URL のリストから直接実行できるように、インデックス作成を変更することは可能ですか?

特定のイメージからコンテンツを取得するためのプロジェクトに取り組み、リポジトリ内の他のイメージと比較して、一致するイメージを一覧表示します。

最終的に検索が遅くならないようにするための正しいアプローチは何ですか。

フィルタリングの最初のレベルとして計画していたのは、任意の画像クエリ (CBIR 手法) を使用して、特定の画像のパターンに一致する画像を取得することでした。次に、OCR を実行して画像コンテンツを取得し、一致チェックを実行します。

これに対するより良いアプローチがあれば教えてください。

問題をさらに調査するために、このトピックに関する最後の質問を削除しました。

私は、iPhone のローカル フォト アルバムにインデックスを付けるコンテンツ ベースの画像検索データベースに取り組んでいます。特徴抽出のためのフィルターとメソッドを作成しましたが、前処理ステップとして、CIDetector を使用して顔の四角形を検出し、それらの四角形をローカル バイナリ パターン フィルターでフィルター処理して、小さな四角形のヒストグラムを抽出します。

大きなフォト アルバムのインデックス作成には明らかにかなりの時間がかかるため、フィルターを実行して特徴を抽出するバックグラウンド スレッドを使用して非同期になるように設計しました。

これに関する問題は、フォト アルバムの画像にアクセスする唯一の方法が PHAsset 経由であるように思われることです。一般的に使用される 2 つの API があり、どちらもコールバック ブロックを必要とします。そのうちの 1 つは UIImage 表現を取得します。主に、それらの多くをロードする必要があり、メモリの制約が厳しく、画像を表示するつもりがないため、これは私が望むものではありません。オブジェクトのディクショナリも返します。そのうちの 1 つは画像ファイル自体の URL ですが、使用+[CIImage imageWithContentsOfURL]すると nil が返され、iOS コンソールは、この API を使用すると画像へのアクセス許可が拒否されたことを示します。

もう一つは-[PHAsset requestContentEditingInputWithOptions]. この特定の API は、API を呼び出したキューに関係なく、コールバック ブロックがメイン キューで強制的に呼び出されるようにします。コールバック ブロックは常にメイン キューにディスパッチされます。この API を使用すると、 を使用して CIImage を正常にロードでき+[CIImage imageWithContentsOfURL]ます。これは、API がファイルへのアクセス許可を効果的に与えたことを意味します。その後、すべてのインデックス処理ステップを実行する別のキューに CIImage を配置できます。

このアプローチは機能しているように見えますが、短期間だけです。最終的にアプリがクラッシュし、前の処理中に というメッセージが表示されるだけConnection to assetsd was interrupted or assetsd diedです。

操作を別のキューに入れず、API がコールバックを強制するメイン キューで実行すると、すべて問題なく、そのメッセージはコンソールに表示されません。しかし、これにより、メインスレッドは非常に高価な画像処理を行うために常にビジー状態になります。

編集：おそらくこのAPIを誤用していると思いますが、必要なデータを適切な形式（ファイルからピクセルデータをロードするために使用できるCIImage）で提供できるのはこれだけのようです処理中に必要)。

私が現在使用している API は、画像編集データが UI で使用され、それを管理しているサービスがアプリでセッションを開いたままにしておく、インタラクティブな画像フィルタリング セッションにより適していると思われます。

私は SIFT 機能に取り組んでおり、ビジュアル バッグ オブ ワード アプローチを使用して、最初に語彙を作成し、次にマッチングを行っています。同様の質問を見つけましたが、適切な回答が見つかりませんでした。以下のリンクで同じ質問がされていますが、満足のいく答えがありません。誰か助けてください。よろしくお願いします。

https://stackoverflow.com/questions/29366944/finding-top-similar-images-from-a-database-using-sift-surf

すみません、あなたの助けが必要です。トピック CBIR で独自の技術 (アプリ、システム、またはツール) を見つけるのに問題があります。CBIR を使用して開発できるユニークなアプリを思いつきますか? 私は盲目で、CBIRについて何も知りません。つまり、私は CBIR について検索するアイデアを持っていますが、それはあまりにも普通であり、先生は CBIR アプリについてもっと魅力的なアイデアを見つけるように私に言いました。検索エンジンの画像、特定された観光オブジェクトへのアプリ、私のアイデア、あなたからの他のアイデアはありますか?

NB : CBIR コンテンツ ベースの画像検索 (CBIR) は、画像コンテンツによるクエリ (QBIC) およびコンテンツ ベースの視覚情報検索 (CBVIR) とも呼ばれ、コンピューター ビジョン技術を画像検索問題に適用したものです。大規模なデータベースでデジタル画像を検索する (CBIR フィールドの最近の科学的概要については、この調査 [1] を参照してください)。コンテンツ ベースの画像検索は、従来の概念ベースのアプローチとは対照的です (概念ベースの画像インデックス作成を参照)。「コンテンツベース」とは、画像に関連付けられたキーワード、タグ、説明などのメタデータではなく、画像のコンテンツを検索で分析することを意味します。このコンテキストでの「コンテンツ」という用語は、色、形状、テクスチャ、または画像自体から取得できるその他の情報を指す場合があります。

この制限が有効なオプションであるかどうかを知りたいですか?

精度の再現率、f 測定の傾向を独立して判断することはできないためです。よろしければ、すべての適合率、再現率、および f 測定曲​​線の同じ傾向をどのように正当化するのでしょうか?

クラスごとに 100 枚の 500 枚の画像のデータセットを使用しました。クラスごとに 1 つのランダムな画像を使用してアルゴリズムをチェックしました。アイデアは、上位 20 の一致する画像 (真陽性 + 偽陽性) を取得することです。ポイントが欠けているのはどこですか？

注: 私は Matlab を使用しています。

最終的なグラフは次のとおりです。