python - 高度な正方形検出 (接続領域あり)

Question

正方形が画像内の領域を接続している場合、どうすればそれらを検出できますか。

OpenCV C++/Obj-C: Advanced square detectionに記載されている方法をテストしました

うまくいきませんでした。

良いアイデアはありますか？

import cv2
import numpy as np

def angle_cos(p0, p1, p2):
    d1, d2 = (p0-p1).astype('float'), (p2-p1).astype('float')
    return abs( np.dot(d1, d2) / np.sqrt( np.dot(d1, d1)*np.dot(d2, d2) ) )

def find_squares(img):
    squares = []
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # cv2.imshow("gray", gray)

    gaussian = cv2.GaussianBlur(gray, (5, 5), 0)

    temp,bin = cv2.threshold(gaussian, 80, 255, cv2.THRESH_BINARY)
    # cv2.imshow("bin", bin)

    contours, hierarchy = cv2.findContours(bin, cv2.RETR_CCOMP, cv2.CHAIN_APPROX_SIMPLE)

    cv2.drawContours( gray, contours, -1, (0, 255, 0), 3 )

    #cv2.imshow('contours', gray)
    for cnt in contours:
        cnt_len = cv2.arcLength(cnt, True)
        cnt = cv2.approxPolyDP(cnt, 0.02*cnt_len, True)
        if len(cnt) == 4 and cv2.contourArea(cnt) > 1000 and cv2.isContourConvex(cnt):
            cnt = cnt.reshape(-1, 2)
            max_cos = np.max([angle_cos( cnt[i], cnt[(i+1) % 4], cnt[(i+2) % 4] ) for i in xrange(4)])
            if max_cos < 0.1:
                squares.append(cnt)
    return squares

if __name__ == '__main__':
    img = cv2.imread('123.bmp')

    #cv2.imshow("origin", img)

    squares = find_squares(img)  
    print "Find %d squres" % len(squares)
    cv2.drawContours( img, squares, -1, (0, 255, 0), 3 )
    cv2.imshow('squares', img)

    cv2.waitKey()

opencv の例でいくつかの方法を使用していますが、結果は良くありません。

Answer 1

Distance Transform に基づいて Watershed Transform を適用すると、オブジェクトが分離されます。

境界でのオブジェクトの処理は常に問題があり、破棄されることが多いため、左上のピンク色の長方形が分離されていなくてもまったく問題ありません。

バイナリ イメージを指定して、距離変換 (DT) を適用し、そこから流域のマーカーを取得できます。理想的には、局所的な最小値/最大値を見つけるための準備が整った関数があるでしょうが、そこにないため、DT のしきい値を設定する方法について適切な推測を行うことができます。Watershed を使用してセグメント化できるマーカーに基づいて、問題は解決されます。これで、長方形のコンポーネントとそうでないコンポーネントの区別について心配することができます。

import sys
import cv2
import numpy
import random
from scipy.ndimage import label

def segment_on_dt(img):
    dt = cv2.distanceTransform(img, 2, 3) # L2 norm, 3x3 mask
    dt = ((dt - dt.min()) / (dt.max() - dt.min()) * 255).astype(numpy.uint8)
    dt = cv2.threshold(dt, 100, 255, cv2.THRESH_BINARY)[1]
    lbl, ncc = label(dt)

    lbl[img == 0] = lbl.max() + 1
    lbl = lbl.astype(numpy.int32)
    cv2.watershed(cv2.cvtColor(img, cv2.COLOR_GRAY2BGR), lbl)
    lbl[lbl == -1] = 0
    return lbl


img = cv2.cvtColor(cv2.imread(sys.argv[1]), cv2.COLOR_BGR2GRAY)
img = cv2.threshold(img, 0, 255, cv2.THRESH_OTSU)[1]
img = 255 - img # White: objects; Black: background

ws_result = segment_on_dt(img)
# Colorize
height, width = ws_result.shape
ws_color = numpy.zeros((height, width, 3), dtype=numpy.uint8)
lbl, ncc = label(ws_result)
for l in xrange(1, ncc + 1):
    a, b = numpy.nonzero(lbl == l)
    if img[a[0], b[0]] == 0: # Do not color background.
        continue
    rgb = [random.randint(0, 255) for _ in xrange(3)]
    ws_color[lbl == l] = tuple(rgb)

cv2.imwrite(sys.argv[2], ws_color)

上の画像から、長方形を決定するために各コンポーネントに楕円を当てはめることを検討できます。次に、何らかの測定値を使用して、コンポーネントが長方形かどうかを定義できます。このアプローチは、完全に表示されている長方形に対して機能する可能性が高く、部分的に表示されている長方形に対しては悪い結果をもたらす可能性があります。次の画像は、適合した楕円からの長方形がコンポーネントの領域の 10% 以内にある場合、コンポーネントが長方形であると見なしたこのようなアプローチの結果を示しています。

# Fit ellipse to determine the rectangles.
wsbin = numpy.zeros((height, width), dtype=numpy.uint8)
wsbin[cv2.cvtColor(ws_color, cv2.COLOR_BGR2GRAY) != 0] = 255

ws_bincolor = cv2.cvtColor(255 - wsbin, cv2.COLOR_GRAY2BGR)
lbl, ncc = label(wsbin)
for l in xrange(1, ncc + 1):
    yx = numpy.dstack(numpy.nonzero(lbl == l)).astype(numpy.int64)
    xy = numpy.roll(numpy.swapaxes(yx, 0, 1), 1, 2)
    if len(xy) < 100: # Too small.
        continue

    ellipse = cv2.fitEllipse(xy)
    center, axes, angle = ellipse
    rect_area = axes[0] * axes[1]
    if 0.9 < rect_area / float(len(xy)) < 1.1:
        rect = numpy.round(numpy.float64(
                cv2.cv.BoxPoints(ellipse))).astype(numpy.int64)
        color = [random.randint(60, 255) for _ in xrange(3)]
        cv2.drawContours(ws_bincolor, [rect], 0, color, 2)

cv2.imwrite(sys.argv[3], ws_bincolor)

Answer 2

解決策 1:

イメージを膨張させて、接続されたコンポーネントを削除します。検出されたコンポーネントの輪郭を見つけます。なんらかの尺度 (例: 周長/面積比) を導入して、長方形ではない輪郭を排除します。

このソリューションは、境界線に接続された四角形を検出しません。

解決策 2:

膨張して連結成分を削除します。輪郭を見つけます。輪郭を概算してポイントを減らします (長方形の輪郭の場合は 4 ポイントにする必要があります)。等高線間の角度が 90 度かどうかを確認します。90 度を持たない輪郭を削除します。

これにより、境界線に接続された長方形の問題が解決されるはずです。

Answer 3

次の 3 つの問題があります。

1. 長方形はあまり厳密な長方形ではありません (エッジが多少湾曲していることがよくあります)。
2. それらはたくさんあります。
3. それらはしばしば接続されます。

すべての四角形は本質的に同じサイズ (?) であり、大きく重なっていないようですが、前処理によってそれらが接続されています。

この状況で私が試みるアプローチは次のとおりです。

1. 画像を数回拡張します (@krzych によっても提案されています) - これにより接続が削除されますが、わずかに小さい四角形になります。
2. scipy を使用してラベルを付け、find_objects - 画像内に残っているすべてのブロブの位置とスライスがわかります。
3. minAreaRectを使用して、各長方形の中心、向き、幅、および高さを見つけます。

手順 3. を使用して、ブロブが有効な四角形であるかどうかを、その面積、寸法比、またはエッジへの近さによってテストできます。

各ブロブが長方形であると想定しているため、これは非常に優れたアプローチであり、minAreaRect最小の囲み長方形のパラメーターを見つけます。humomentsさらに、絶対に必要な場合などを使用して、各ブロブをテストできます。

これが私が実際に提案していたことです。境界衝突の一致は赤で示されています。

コード：

import numpy as np
import cv2
from cv2 import cv
import scipy
from scipy import ndimage

im_col = cv2.imread('jdjAf.jpg')
im = cv2.imread('jdjAf.jpg',cv2.CV_LOAD_IMAGE_GRAYSCALE)

im = np.where(im>100,0,255).astype(np.uint8)
im = cv2.erode(im, None,iterations=8)
im_label, num = ndimage.label(im)
for label in xrange(1, num+1):
    points = np.array(np.where(im_label==label)[::-1]).T.reshape(-1,1,2).copy()
    rect = cv2.minAreaRect(points)
    lines = np.array(cv2.cv.BoxPoints(rect)).astype(np.int)
    if any([np.any(lines[:,0]<=0), np.any(lines[:,0]>=im.shape[1]-1), np.any(lines[:,1]<=0), np.any(lines[:,1]>=im.shape[0]-1)]):
        cv2.drawContours(im_col,[lines],0,(0,0,255),1)
    else:
        cv2.drawContours(im_col,[lines],0,(255,0,0),1)

cv2.imshow('im',im_col)
cv2.imwrite('rects.png',im_col)
cv2.waitKey()

Watershed@mmgp によって実証されたandアプローチは、画像をセグメント化するのに明らかに優れていると思いますdistanceTransformが、この単純なアプローチは、ニーズによっては効果的です。