ユーザーがシステムに何かを言うと、システムが声で彼に答え、声に応じて顔の表情を生成する、インタラクティブな音声対話システムを開発しています。しかし、どうすれば表情を生成できるのかわかりません。どうすれば開始できるか、またはオープンソースパッケージが既に存在する場合は、とてもいいと誰か教えてくれませんか。これに関連するオープンソースソフトウェアについて知っている人がいたら教えてください。
4 に答える
このプロジェクトと他のシステムには、必要なものが含まれています。
http://osdn.jp/projects/galatea
見積もり:
「ガラテア」は、擬人化された音声対話エージェントを構築するためのオープンソースでライセンスフリーのソフトウェア ツールキットを提供するためのプロジェクトです。つまり、このツールキットを使用すると、音声言語でコミュニケーションできる独自の生き生きとしたビジュアル エージェントを構築できます。
包括的なFACSベースの API を提供するオープン ソースのHapFacs1.0 APIを使用して、アクション ユニットに基づいてさまざまな表情を生成できます。HapFacs API は現在、Windows プラットフォームで利用できます。Haptekソフトウェアに基づいて開発されたHapFacs。また、組み込みのリップ シンク機能を提供し、ほとんどのテキスト読み上げエンジンと互換性があります。HapFacs1.0 はもともと C# で記述されていますが、ほとんどの開発プラットフォームで .dll ファイルを参照することで API を使用できます。さまざまなアクション ユニットを組み合わせることで、さまざまな強さの表情を生成できます。EMFACS構成を使用することで、強度の異なる 7 つの普遍的な表情を生成できます。
自分の顔を動画にすることで表情を生成できますか? 個人的には、そこから始めたいと思っています。
本当に顔の表情が必要ですか、それとも古い (非 3D) アニメで見られるような口の開閉で十分ですか? その場合は、エンベロープ検出器を使用して口と音声振幅エンベロープを一致させてみてください。