Johny Lee が Wii のヘッド トラッキングhttp://www.youtube.com/watch?v=Jd3-eiid-Uw&feature=player_embeddedで行ったことと同様のことをしたいと考えてい ます。
でもKinectを使いたい。Microsoft の SDK は骨格の関節を公開しているので、それを使用して頭の位置を取得できるのではないかと期待していました。問題は、デスクトップ コンピューターとそのモニターでこれを行いたいということです。Kinect センサーをモニターのすぐ隣に置いて、机に座っているとします。私の頭と首だけがセンサーに見えるので、骨格追跡は私の頭の位置を拾いません。
Kinect を使用したヘッド トラッキング プロジェクトに詳しい人はいますか? できればC#で
このアプリケーションでは、Microsoft の SDK や OpenNI などのフレームワークが提供するスケルトン トラッキングを使用できないと思います。
生の深度データに深度しきい値を適用して、ユーザーの頭をセグメント化することを提案します。これにより、バックグラウンドが減少するはずです。これを行う既存の方法がすでにあると思います。
2 番目のステップとして、セグメント化されたユーザー内に軸のようなものを配置します。最も簡単な方法は、opencv fitEllipseを使用することです。返された楕円の長軸と深度情報を組み合わせることで、この軸が得られます。
このアプローチは、セグメント化されたポイントのほとんどがユーザーの頭に属している場合にのみ機能します。遠くにいる場合は、頭だけを切り出す方法を考えなければなりません。楕円フィッティングは常に機能するはずです。
公式のKinectforWindows SDKには制限があり、Kinectセンサーを使用するには、センサーから1.2mから3.5m離れている必要があるという点で、XBoxおよびXDKに提供されているガイダンスと一致しています。この制限は、センサーに近いスケルトン/オブジェクトを検出できるOpenNI/NITEライブラリなどの代替SDKで実際に軽減されます。
スケルトン入力で発生する問題は、スケルトンに比例した頭の位置のみを検出し、頭を左右に回転させた場合は検出しないことです。これを実現するには、生の深度ストリームと、オブジェクト認識に関するいくつかのスマートを使用しないでください。これは、やや複雑です。
過去に、ウェブカメラを使用して頭の動きを追跡し、あなたが求めているものを実現するこの商用.NET APIを使用しました：http：//luxand.com/facesdk/index2.php
この種のテーマについては、Channel 9sのチュートリアルをご覧ください。Skeletal Fundamentals ビデオに移動します。しかし、時間を節約したい場合は、ここにいくつかのコードがあります。
XAML
<Window x:Class="SkeletalTracking.MainWindow"
xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
Title="MainWindow" Height="600" Width="800" Loaded="Window_Loaded"
xmlns:my="clr-namespace:Microsoft.Samples.Kinect.WpfViewers;assembly=Microsoft.Samples.Kinect.WpfViewers"
Closing="Window_Closing" WindowState="Maximized">
<Canvas Name="MainCanvas">
<my:KinectColorViewer Canvas.Left="0" Canvas.Top="0" Width="640" Height="480" Name="kinectColorViewer1"
Kinect="{Binding ElementName=kinectSensorChooser1, Path=Kinect}" />
<my:KinectSensorChooser Canvas.Left="250" Canvas.Top="380" Name="kinectSensorChooser1" Width="328" />
<Image Canvas.Left="66" Canvas.Top="90" Height="87" Name="headImage" Stretch="Fill" Width="84" Source="/SkeletalTracking;component/c4f-color.png" />
</Canvas>
内部コード
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Data;
using System.Windows.Documents;
using System.Windows.Input;
using System.Windows.Media;
using System.Windows.Media.Imaging;
using System.Windows.Navigation;
using System.Windows.Shapes;
using Microsoft.Kinect;
using Coding4Fun.Kinect.Wpf;
namespace SkeletalTracking
{
/// <summary>
/// Interaction logic for MainWindow.xaml
/// </summary>
public partial class MainWindow : Window
{
public MainWindow()
{
InitializeComponent();
}
bool closing = false;
const int skeletonCount = 6;
Skeleton[] allSkeletons = new Skeleton[skeletonCount];
private void Window_Loaded(object sender, RoutedEventArgs e)
{
kinectSensorChooser1.KinectSensorChanged += new DependencyPropertyChangedEventHandler(kinectSensorChooser1_KinectSensorChanged);
}
void kinectSensorChooser1_KinectSensorChanged(object sender, DependencyPropertyChangedEventArgs e)
{
KinectSensor old = (KinectSensor)e.OldValue;
StopKinect(old);
KinectSensor sensor = (KinectSensor)e.NewValue;
if (sensor == null)
{
return;
}
var parameters = new TransformSmoothParameters
{
Smoothing = 0.3f,
Correction = 0.0f,
Prediction = 0.0f,
JitterRadius = 1.0f,
MaxDeviationRadius = 0.5f
};
//sensor.SkeletonStream.Enable(parameters);
sensor.SkeletonStream.Enable();
sensor.AllFramesReady += new EventHandler<AllFramesReadyEventArgs>(sensor_AllFramesReady);
sensor.DepthStream.Enable(DepthImageFormat.Resolution640x480Fps30);
sensor.ColorStream.Enable(ColorImageFormat.RgbResolution640x480Fps30);
try
{
sensor.Start();
}
catch (System.IO.IOException)
{
kinectSensorChooser1.AppConflictOccurred();
}
}
void sensor_AllFramesReady(object sender, AllFramesReadyEventArgs e)
{
if (closing)
{
return;
}
//Get a skeleton
Skeleton first = GetFirstSkeleton(e);
if (first == null)
{
return;
}
//set scaled position
ScalePosition(headImage, first.Joints[JointType.Head]);
//ScalePosition(leftEllipse, first.Joints[JointType.HandLeft]);
//ScalePosition(rightEllipse, first.Joints[JointType.HandRight]);
GetCameraPoint(first, e);
}
void GetCameraPoint(Skeleton first, AllFramesReadyEventArgs e)
{
using (DepthImageFrame depth = e.OpenDepthImageFrame())
{
if (depth == null ||
kinectSensorChooser1.Kinect == null)
{
return;
}
//Map a joint location to a point on the depth map
//head
DepthImagePoint headDepthPoint =
depth.MapFromSkeletonPoint(first.Joints[JointType.Head].Position);
//left hand
DepthImagePoint leftDepthPoint =
depth.MapFromSkeletonPoint(first.Joints[JointType.HandLeft].Position);
//right hand
DepthImagePoint rightDepthPoint =
depth.MapFromSkeletonPoint(first.Joints[JointType.HandRight].Position);
//Map a depth point to a point on the color image
//head
ColorImagePoint headColorPoint =
depth.MapToColorImagePoint(headDepthPoint.X, headDepthPoint.Y,
ColorImageFormat.RgbResolution640x480Fps30);
//left hand
ColorImagePoint leftColorPoint =
depth.MapToColorImagePoint(leftDepthPoint.X, leftDepthPoint.Y,
ColorImageFormat.RgbResolution640x480Fps30);
//right hand
ColorImagePoint rightColorPoint =
depth.MapToColorImagePoint(rightDepthPoint.X, rightDepthPoint.Y,
ColorImageFormat.RgbResolution640x480Fps30);
//Set location
CameraPosition(headImage, headColorPoint);
//CameraPosition(leftEllipse, leftColorPoint);
//CameraPosition(rightEllipse, rightColorPoint);
}
}
Skeleton GetFirstSkeleton(AllFramesReadyEventArgs e)
{
using (SkeletonFrame skeletonFrameData = e.OpenSkeletonFrame())
{
if (skeletonFrameData == null)
{
return null;
}
skeletonFrameData.CopySkeletonDataTo(allSkeletons);
//get the first tracked skeleton
Skeleton first = (from s in allSkeletons
where s.TrackingState == SkeletonTrackingState.Tracked
select s).FirstOrDefault();
return first;
}
}
private void StopKinect(KinectSensor sensor)
{
if (sensor != null)
{
if (sensor.IsRunning)
{
//stop sensor
sensor.Stop();
//stop audio if not null
if (sensor.AudioSource != null)
{
sensor.AudioSource.Stop();
}
}
}
}
private void CameraPosition(FrameworkElement element, ColorImagePoint point)
{
//Divide by 2 for width and height so point is right in the middle
// instead of in top/left corner
Canvas.SetLeft(element, point.X - element.Width / 2);
Canvas.SetTop(element, point.Y - element.Height / 2);
}
private void ScalePosition(FrameworkElement element, Joint joint)
{
//convert the value to X/Y
//Joint scaledJoint = joint.ScaleTo(1280, 720);
//convert & scale (.3 = means 1/3 of joint distance)
//Joint scaledJoint = joint.ScaleTo(1280, 720, .3f, .3f);
Canvas.SetLeft(element, scaledJoint.Position.X);
Canvas.SetTop(element, scaledJoint.Position.Y);
}
private void Window_Closing(object sender, System.ComponentModel.CancelEventArgs e)
{
closing = true;
StopKinect(kinectSensorChooser1.Kinect);
}
}
}
個人的にはビデオを見ることをお勧めします。あなたのプロジェクトで頑張ってください！
頭の位置を追跡するのに kinect は必要ありません。フェイストラッキングを利用することで、通常のカメラとopenCVで同じことができます。
ここに示した簡単な例: http://vimeo.com/19464641
ビデオでは、openCV を使用して自分の顔を追跡しています (コーナーではほとんど見えませんが、赤い点は顔の位置を示しています)。
Aforge.netと Microsoft XNA Framework を併用するか、Aforge.net のみを使用することをお勧めします。ただし、自分で少し開発を行う必要があります。また、C# を使用して同様の作業を行っています。すぐに使える完全な例を見つけることはできないと思います。まだ誰もそれをしませんでした。（私が間違っている場合は修正してください）。