WWDC '19 によると、共同 AR のサポートが改善されているように見えるため、ARKit 3 と 2 台の iPad を使用してマルチユーザー (共同) エクスペリエンスを作成することに興味があります。
Apple はフェイス トラッキングとモーション キャプチャについてよく話しますが、これは前面カメラ (デバイスを持っている人に面している) でのみサポートされているようです。体験を共有している友人のフェイス トラッキングを行う方法はありませんか? WWDC のデモ ビデオでは、ユーザーの視点からモーション キャプチャ キャラクターが生成されているように見えます。また、Minecraft のデモでは、ユーザーの視点から AR の Minecraft コンテンツと混合されている人物が表示されます。これは、バックカメラがこれを処理していることを示唆しています。それでも、AR のポイントは、目の前の物理的な世界に仮想オブジェクトを接続することだと思っていました。. Reality Composer には、顔の追跡と顔を追跡する吹き出しの例がありますが、私は深度カメラを備えたデバイスを持っていないため、この例がその吹き出しがあなたを追跡することを意図しているかどうかはわかりません。周囲のユーザー、またはカメラの視野内の他の誰か。
要するに、共有 AR 環境で顔追跡、人のオクルージョン、および他の人々に対する身体追跡でどのようなことができるかについて、私は少し混乱しています。どのカメラが使用されており、自分だけではなく他の人に適用できる機能 (自撮りスタイル) は?
最後に、私が自分の視界にいる他の人の顔と体の追跡を行うことができ、他の人のオクルージョンを行うことができると仮定すると、誰かが私にいくつかのサンプルコードを教えてくれますか? シーンからの深度情報も使用したいのですが (可能であればもう一度)、これにはまったく異なる API が必要になる可能性があります。
私はまだ TrueDepth カメラを搭載したデバイスを持っていないので、ここにあるサンプル プロジェクトを使用してこれを実際にテストすることはできません : https://developer.apple.com/documentation/arkit/tracking_and_visualizing_faces必要なハードウェアを購入する前に、そもそも自分が望むシステムを作成できるかどうかという人々の回答。