問題タブ [eye-tracking]

opencvで顔の虹彩を検出するにはどうすればよいですか?

ハフ サークル アルゴリズムを試してみましたが、目を検出するのに許容できない出力が得られます。正面を向いている画像で目を検出する方法を見つけることができますか...

コンテンツのさまざまなドメイン知識を持つ人々のグループに表示された画像があります。私は、画像を見ている彼らの凝視データを記録しました。

ここで、2 つのグループの結果を比較したいと思います。つまり、2 つのグループ間でサンプリング データの位置に相関関係があるかどうかを知る必要があります。

元の画像と固定座標があります。データの分析を開始する良いアイデアはありますか?

アイデアや計画が重要なので、あまり技術的である必要はありません。

ありがとう

私は目の瞳孔を追跡することを目的としたプロジェクトに取り組んでいます。このために、目の画像をキャプチャするヘッドマウント システムを作成しました。ハードウェア部分は完成しているのですが、ソフトウェア部分に打ち込んでいます。opencvを使用しています。生徒を追跡する最も効率的な方法を教えてください。ハフサークルの業績は芳しくありませんでした。

その後、HSVフィルターも試しました。コードと、生画像と処理済み画像のスクリーンショットへのリンクがあります。この問題を解決するのを手伝ってください。リンクには、このコードで使用している瞳孔のビデオも含まれています。

https://picasaweb.google.com/118169326982637604860/16November2011?authuser=0&authkey=Gv1sRgCPKwwrGTyvX1Aw&feat=directlink

コード：

目を追跡して、瞳孔の中心座標を正確に見つけることができました。

最初に、ヘッド マウント カメラで撮影した画像をしきい値処理しました。その後、輪郭検索アルゴリズムを使用して、すべての輪郭の重心を見つけました。これにより、目の瞳孔の中心座標が得られます。この方法はリアルタイムで正常に機能し、まばたきを非常に正確に検出します。

今、私の目標は、この機能をゲーム (レーシング ゲーム) に組み込むことです。左/右を見ると車は左/右に動き、まばたきすると車は減速します。どうすれば今進むことができますか??? それを行うにはゲームエンジンが必要ですか？

Visual Studio 2010 (unity など) と互換性のあるオープン ソースのゲーム エンジンがいくつかあると聞きました。実現可能ですか？？？はいの場合、どのように進めればよいですか?

I am developing an application that maps users eye movements with the cursor movements, hence developing ahands free cursor control system.

I am using Open CV library's .NET Wrapper for C# i.e. Emgu CV for development.

I am stuck at a point where I want to open a file/folder such that when a cursor is placed over a file/folder for say 3 to 5 seconds, the file/folder should open up or just perform a double-click event of a conventional mouse.

What could I use so as to solve this problem?

これまでのところ、瞳孔と目尻を正確に検出できました。ここで、私自身の質問への回答でアップロードしたスナップをいくつか見ることができます。

安定した目尻検出を行う

これが私がこれまでに行ったことです。TLCP、TRCP、BLCP を見て、ユーザーの視線を調整しました。

そして、それらのCPを見ることで得られる対応する注視ポイントはGPと呼ばれます

注視点 GP の計算:

現在の瞳孔中心の位置から TLGP の縦座標の値を差し引きます。これは、注視点が仮想の長方形に収まる必要があるためです。理解していただければ幸いです。これは非常に単純です。

スケールが次のように計算される基本的なスケーリング システムを使用して、瞳孔の中心の位置から計算された視線ポイントをスクリーン ポイントに直線的にマッピングしました。

そして、任意の注視点 P(x,y) に対して、対応するスクリーン ポイント Q(m,n) を次のように計算します。

しかし、問題は、ほぼ完璧な瞳孔検出の後でも (ほとんどの場合、照明が不十分な場合に誤検知が発生するためです。しかし、作業できないため、十分な時間がないため、制限の下に置くつもりです)、i' m はまだ視線の幅と視線の高さが貧弱です。

テスト実行ログは次のとおりです。

注視点と、それに対応する注視検出されたスクリーン ポイント (その下) を見てください。x、y 縦座標の値の大きな違いは、私を悩ませています。月曜日は最終発表会です。

このアプローチの後、次の別のアプローチを理論化しました。

キャリブレーションは、最初の方法と同様に行われます。視線の動きとその方向を検出します。たとえば、瞳孔中心の任意の 2 点 P と Q (P は最初の注視点、Q は 2 番目の注視点) が与えられた場合、線 PQ の方向と長さを計算します。

この線分の長さを L と仮定します。次に、L を画面の縦横比に合わせてスケーリングします。たとえば、L を画面スケールで D とします。視線の移動方向を考慮して、画面上のカーソルを最後の静止点から移動します。長さ D の線分の終点として計算される新しい点 S と始点 S までの距離を R、D とします。比喩的な表現を図に示します。したがって、基本的に、視線データをスクリーン ポイントにマッピングしません。基本的に視線を追跡し、それを「プッシュ」に変換して画面上のカーソルに適用します。しかし、私はまだそれを実装していません。実際には視線を画面座標にマッピングしていないため、誤っている可能性があります。この理論の動機は、sourceforge の eViacam プロジェクトから得られました。それに応じてマウスを動かします。キャリブレーションでは、軸に沿って顔がどれだけ動くかを計算するだけです。

結論: したがって、完全に処理された目の画像 (瞳孔の中心と目尻が検出された画像) からユーザーの視線を検出する方法についてアイデアをお持ちの方がいらっしゃいましたら、教えてください。私はちょうど約 1 日を持っています、そして私はそれが遅いことを知っていますが、私を助けることができる魔法のアイデアが必要です.

2 つの視線追跡スキャンパスを比較したいと思います。視線追跡により、画像をラベル付きタイル (長方形領域) に分割するために、観察者が見る一連のラベルが生成されます。また、視線追跡から、目がタイル N を見ている時間と時間を知ることができます。

固定のタイミングが考慮されない限り、レーベンシュタインまたは文字列の編集距離は正常に機能します。たとえば、ユーザー 1 がタイル "AKPLA" を見て、ユーザー 2 がタイル "ATPLB" を見た場合、文字列編集距離は 2 になりますが、ユーザー 2 はユーザー 2 よりもはるかに長い時間 "P" を見る可能性があります。

タイミングの違いも測定するために距離測定を改善する方法のアイデアはありますか? (アルゴリズムは文字列に限定されないことに注意してください。整数の配列でも同様に機能します)。

ウェブサイトに視線追跡システムを追加する必要があります。ユーザーが最もクリックした場所を追跡するために使用するヒートマップを使用したもの。

それを行うためのオープンソースのphp（jquery、html）プラグインはありますか？

どうも

opencv を使用して、中心の xy 座標と瞳孔の半径を追跡することができました。

今度はそれを使って視線を測定したいと思います。

誰かがその理論的な部分で私を助けてくれれば、おそらく私はそれをコーディングできるでしょう.

オープンソースプログラムも同様です。

更新 :角膜のグリントも追跡できるようになりました。私のオンライン調査によると、瞳孔の座標を輝きと比較して視線を推定します。どうすればそれを行うことができますか？