私は学士号を取得しており、現在、リアルタイム カメラを使用した光学式点字認識の最終プロジェクトに取り組んでいます。画像をHSV形式に正常に処理し、HSV画像の値のみを抽出して、周囲光が画像に影響を与えないようにし、バイナリしきい値、キャニーエッジ検出、侵食、および拡張を実行して、カメラから点字のみを取得しました.
私が聞きたいのは、カメラが点字に近づいたり遠ざかったりすると、各ドット間の距離が常に変化する問題でセグメンテーションを実行する方法です。
任意の支援をいただければ幸いです。ありがとうございました
これを行うには、画像内の点字の「縮尺」を検出できる相対座標ペアを検出します。これは、文章の両端にある特定の点のペアである場合もあれば、いくつかの特徴的な点である場合もあります。スケールを使用すると、カメラの距離に応じて画像を均一なサイズに変換できます。
問題に対する単純で一般的な解決策はありません。これらの点字の間隔がどのように配置されているかをすぐに理解できなければ、単純なアルゴリズムで簡単に解決することはできません。
最善の策は、点字テキストに関する文献を読み、教授と話し、目の不自由な人に点字の読み方を説明してもらうことです。
それ以外では、点字のテキスト行のベースラインを見つけて、それらがどのように異なるかを確認し、cvPerspectiveTransform を実行して画像をまっすぐにする必要があります。これにより、遠近法を考慮せずにドットをセグメント化できます。
この課題は、私がバーコード システムで遭遇した問題と非常によく似ています。私の答えは、私が使用する方法の一般化された説明です。
画像をグリッドに分割することから始めます。グリッドでは、1 つの文字セルが 1 つのグリッド セル内に収まります。これにより、グリッドが画像にどのように重なっているかに関係なく、すべての文字が 2x2 グリッド セル内に収まることが保証されます。
画像をドットに変換します。ドットは、ピクセルの小さな領域を使用したローカル識別によって識別されます。
各ドットにグリッド セル番号を割り当てます。これは、x/y 位置を 32 ピクセルのセル ((y/32)*(幅/32))+(x/32) で割ったような簡単なものである必要があります。
グリッド セルごとのドット数を保持し、すべてのドットが識別されたら、ドット テーブルをグリッド番号で並べ替え、テーブル内の変位と要素数によってインデックスを作成します。
解像度が異なる場合は、多数のドットでいくつかのセルをサンプリングして、セル ペア間の距離を決定します。
行ごとにセルを調べますが、2x2 セル グループを使用して各セルを調べます。このようにして、テストされているセル内のドットは、ペアのドット (存在する場合) と一致することが保証されます。グリッド ドットを使用することで、相互にローカルなドットにのみ一致させる必要があるため、画像に数千のドットが含まれる場合でも、個々のドットは 1 ～ 10 のドットに一致させるだけで済みます。
ドットをペアリングすると重複が作成されますが、マッチング中に防止するか、後で削除できます。
この時点で、ドットを点字に合わせる必要があります。水平方向のペアのペアと垂直方向のペアのペアは、点字テキストの整列を開始できるはずです。
線が整列されると、スペック テーブルは、決定されたテキストの整列に回転されます。ペアを整列させ、ペアの位置から、ペアのグリッド位置をドット テーブル内のペアになっていないドットに一致させることによって、一致しないスペックを追加することができます。