2

OpenCVCAPIを多用するC/C++で記述されたアプリケーション用のPythonラッパーを作成しようとしています。以前のプログラムで正常に使用したことがあるので、これにはctypesを使用したいと思います。しかし、PythonからCライブラリの関数にパラメータとしてIplImageを渡そうとすると、問題が発生します。

問題を実証するためにサンプルテストライブラリを作成しました。これが私が使いたいライブラリの関数です:

// ImageDll.h

#include "opencv2/opencv.hpp"

extern "C"  //Tells the compile to use C-linkage for the next scope.
{
    // Returns image loaded from location
    __declspec(dllexport) IplImage* Load(char* dir);

    // Show image
    __declspec(dllexport) void Show(IplImage* img);
}

そしてcppファイル:

// ImageDll.cpp
// compile with: /EHsc /LD

#include "ImageDll.h"

using namespace std;

extern "C"  //Tells the compile to use C-linkage for the next scope.
{
    IplImage* Load(char* dir)
    {
        return cvLoadImage(dir, CV_LOAD_IMAGE_COLOR);
    }

    void Show(IplImage* img)
    {
        cvShowImage("image", img);
        cvWaitKey(0);
    }
}

そして、これがPythonでの最初の試みです。

from time import sleep
from ctypes import *
from modules.acquisition import InitCamera, GetImage
from modules.utils import struct
import cv2.cv as cv

# load DLL containing image functions
print "Loading shared library with genetic algorithm...",
image_lib = cdll.LoadLibrary("OpenCV_test_DLL.dll")
print "Done."
# get function handles
print "Loading functions of library...",
image_load = image_lib.Load
image_show = image_lib.Show
# set return type for functions (because ctypes default is int)
image_load.restype = c_void_p
image_show.restype = None
print "Done."

# initialize source
print "Initializing camera",
source = struct()
InitCamera(source)
print "Done."

# show video
while (1):
    # get image as PIL image
    img = GetImage(source)
    # transform image to OpenCV IplImage
    cv_img = cv.CreateImageHeader(img.size, cv.IPL_DEPTH_8U, 3)
    cv.SetData(cv_img, img.tostring())
    # show image using OpenCV highgui lib
    image_show(pointer(cv_img))

ご覧のとおり、カメラからPIL画像として画像を取得し、それをpythonIplImageに変換します。最後の行のimage_show(pointer(cv_img))をcv2.cvモジュールのPythonバインディングに置き換えると、これは100%機能します。

    cv.ShowImage("image", cv_img)
    cv.WaitKey(20)

その後、正しい出力が得られます。

したがって、問題は、TypeErrorで失敗するimage_show(pointer(cv_img))にあります。typeにはストレージ情報が必要です。これは、cv_imgが有効なctypesIplImage構造である必要があるためです。私はそれをctypesで模倣しようとしましたが、ほとんど成功していません。

from ctypes import *
from cv2 import cv

# ctypes IplImage
class cIplImage(Structure):
    _fields_ = [("nSize", c_int),
                ("ID", c_int),
                ("nChannels", c_int),
                ("alphaChannel", c_int),
                ("depth", c_int),
                ("colorModel", c_char * 4),
                ("channelSeq", c_char * 4),
                ("dataOrder", c_int),
                ("origin", c_int),
                ("align", c_int),
                ("width", c_int),
                ("height", c_int),
                ("roi", c_void_p),
                ("maskROI", c_void_p),
                ("imageID", c_void_p),
                ("tileInfo", c_void_p),
                ("imageSize", c_int),
                ("imageData", c_char_p),
                ("widthStep", c_int),
                ("BorderMode", c_int * 4),
                ("BorderConst", c_int * 4),
                ("imageDataOrigin", c_char_p)]

変換を行う関数は次のとおりです。

# convert Python PIL to ctypes Ipl
def PIL2Ipl(input_img):

    # mode dictionary:
    # (pil_mode : (ipl_depth, ipl_channels)
    mode_list = {
        "RGB" : (cv.IPL_DEPTH_8U, 3),
        "L"   : (cv.IPL_DEPTH_8U, 1),
        "F"   : (cv.IPL_DEPTH_32F, 1)
        }

    if not mode_list.has_key(input_img.mode):
        raise ValueError, 'unknown or unsupported input mode'

    result = cIplImage()
    result.imageData = c_char_p(input_img.tostring())
    result.depth = c_int(mode_list[input_img.mode][0])
    result.channels = c_int(mode_list[input_img.mode][1])
    result.height = c_int(input_img.size[0])
    result.width = c_int(input_img.size[1])

    return result
                    ("imageData", c_char_p),
                    ("widthStep", c_int),
                    ("BorderMode", c_int * 4),
                    ("BorderConst", c_int * 4),
                    ("imageDataOrigin", c_char_p)]

その後、ビデオループはに変わります

# show video
while (1):
    # get image as PIL image
    img = GetImage(source)
    # transform image to OpenCV IplImage
    cv_img = cIplImage()
    cv_img = PIL2Ipl(img)
    # show image using OpenCV highgui lib
    image_show(pointer(cv_img))

このようにして、データはライブラリに渡されますが、OpenCVエラー:不明な関数の不正なフラグ(パラメーターまたは構造体フィールド)(認識されない、またはサポートされていない配列型)を求めて叫びます。したがって、作成されたctypes構造は無効です。誰かがそれを正しく実装する方法を知っていますか?python IplImageをcライブラリに渡すことができる場合は、ctypesを使用しない他のソリューションも受け入れます。ありがとう。

注:この2日間、この質問に対する回答を見つけようとしましたが、成功しませんでした。OpenCV 1.0には解決策がありますが、最近のPython用のOpenCVバインディングでは、numpy配列を使用しており、PythonとCアプリケーション間のインターフェイスを機能させることはほとんど不可能です。:(

4

1 に答える 1

4

最後に、問題の解決策を見つけました。デフォルトの Python 関数を使用する代わりに

cv.CreateImageHeader()
cv.SetData()

OpenCV C ライブラリからエクスポートした C 関数を使用しました。:) 色を PILs RGB から IplImage BGR 形式に変換することさえできました。完全なソースは次のとおりです。

ImageDll.h

#include "opencv2/opencv.hpp"

extern "C"  //Tells the compile to use C-linkage for the next scope.
{
    // Returns image loaded from location
    __declspec(dllexport) IplImage* Load(char* dir);

    // Show image
    __declspec(dllexport) void Show(IplImage* img);

    // Auxiliary functions
    __declspec(dllexport) void aux_cvSetData(CvArr* arr, void* data, int step);
    __declspec(dllexport) IplImage* aux_cvCreateImageHeader(int width, int height, int depth, int channels);
    __declspec(dllexport) IplImage* aux_cvCvtColor(const IplImage* src, int code);
    __declspec(dllexport) void aux_cvCopy(const CvArr* src, CvArr* dst);
    __declspec(dllexport) void aux_cvReleaseImage(IplImage** image);
    __declspec(dllexport) void aux_cvReleaseImageHeader(IplImage** image);
}

ImageDll.cpp

#include "ImageDll.h"

using namespace std;

extern "C"  //Tells the compile to use C-linkage for the next scope.
{
    IplImage* Load(char* dir)
    {
        return cvLoadImage(dir, CV_LOAD_IMAGE_COLOR);
    }

    void Show(IplImage* img)
    {
        cvShowImage("image", img);
        cvWaitKey(5);
    }

    void aux_cvSetData(CvArr* arr, void* data, int step)
    {
        cvSetData(arr,data,step);
    }

    IplImage* aux_cvCreateImageHeader(int width, int height, int depth, int channels)
    {
        return cvCreateImageHeader(cvSize(width,height), depth, channels);
    }

    IplImage* aux_cvCvtColor(const IplImage* src, int code)
    {
        IplImage* dst = cvCreateImage(cvSize(src->width,src->height),src->depth,src->nChannels);
        cvCvtColor(src, dst, code);
        return dst;
    }

    void aux_cvCopy(const CvArr* src, CvArr* dst)
    {
        cvCopy(src, dst, NULL);
    }

    void aux_cvReleaseImage(IplImage** image)
    {
        cvReleaseImage(image);
    }

    void aux_cvReleaseImageHeader(IplImage** image)
    {
        cvReleaseImageHeader(image);
    }
}

run.py

# This Python file uses the following encoding: utf-8

from time import sleep
from ctypes import *
from modules.acquisition import InitCamera, GetImage
from modules.utils import struct
import cv2.cv as cv
from modules.ipl import *

# load DLL containing image functions
print "Loading shared library with C functions...",
image_lib = cdll.LoadLibrary("OpenCV_test_DLL.dll")
print "Done."
# get function handles
print "Loading functions of library...",
image_load = image_lib.Load
image_show = image_lib.Show
cvReleaseImage = image_lib.aux_cvReleaseImage
# set return type for functions (because ctypes default is int)
image_load.restype = c_void_p
image_show.restype = None
cvReleaseImage.restype = None
print "Done."

# initialize source
print "Initializing camera",
source = struct()
InitCamera(source)
print "Done."

# show video
while (1):
    # get image as PIL image
    img = GetImage(source)
    # transform image to OpenCV IplImage
    cv_img = PIL2Ipl(img)
    # show image using OpenCV highgui lib
    image_show(cv_img)
    # release memory
    cvReleaseImage(byref(cv_img))

ipl.py

from ctypes import *
from cv2 import cv

# ctypes IplImage
class cIplImage(Structure):
    _fields_ = [("nSize", c_int),
                ("ID", c_int),
                ("nChannels", c_int),
                ("alphaChannel", c_int),
                ("depth", c_int),
                ("colorModel", c_char * 4),
                ("channelSeq", c_char * 4),
                ("dataOrder", c_int),
                ("origin", c_int),
                ("align", c_int),
                ("width", c_int),
                ("height", c_int),
                ("roi", c_void_p),
                ("maskROI", c_void_p),
                ("imageID", c_void_p),
                ("tileInfo", c_void_p),
                ("imageSize", c_int),
                ("imageData", POINTER(c_char)),
                ("widthStep", c_int),
                ("BorderMode", c_int * 4),
                ("BorderConst", c_int * 4),
                ("imageDataOrigin", c_char_p)]

# load DLL containing needed OpenCV functions
libr = cdll.LoadLibrary("OpenCV_test_DLL.dll")
cvSetData = libr.aux_cvSetData
cvCreateImageHeader = libr.aux_cvCreateImageHeader
cvCvtColor = libr.aux_cvCvtColor
cvCopy = libr.aux_cvCopy
cvReleaseImage = libr.aux_cvReleaseImage
cvReleaseImageHeader = libr.aux_cvReleaseImageHeader
# set return types for library functions
cvSetData.restype = None
cvCreateImageHeader.restype = POINTER(cIplImage)
cvCvtColor.restype = POINTER(cIplImage)
cvCopy.restype = None
cvReleaseImage.restype = None
cvReleaseImageHeader.restype = None
#print "auxlib loaded"

# convert Python PIL to ctypes Ipl
def PIL2Ipl(pil_img):
    """Converts a PIL image to the OpenCV/IplImage data format.

    Supported input image formats are:
        RGB
        L
        F
    """

    # mode dictionary:
    # (pil_mode : (ipl_depth, ipl_channels)
    mode_list = {
        "RGB" : (cv.IPL_DEPTH_8U, 3),
        "L"   : (cv.IPL_DEPTH_8U, 1),
        "F"   : (cv.IPL_DEPTH_32F, 1)
        }

    if not mode_list.has_key(pil_img.mode):
        raise ValueError, 'unknown or unsupported input mode'

    depth = c_int(mode_list[pil_img.mode][0])
    channels = c_int(mode_list[pil_img.mode][1])
    height = c_int(pil_img.size[1])
    width = c_int(pil_img.size[0])
    data = pil_img.tostring()

    ipl_img = cvCreateImageHeader(width, height, depth, channels);
    cvSetData(ipl_img, create_string_buffer(data,len(data)), c_int(width.value * channels.value))
    brg_img = cvCvtColor(ipl_img,cv.CV_RGB2BGR)
    cvReleaseImageHeader(byref(ipl_img))
    return brg_img

それが誰かを助けることを願っています:)

于 2012-07-02T03:59:49.677 に答える