c++ - Realtime 3D model rendering and real time text to speech

Question

While asking question one should breakdown the whole thing into smaller questions and solve them one by one. But i am asking it the bad way,in order to completely explain my need and technical limitations hoping someone suggests the perfect set of technologies to work on.

I am to design something that will accept text as input convert into speech This speech is mouthed by a 3D model in realtime.

Here you can see all these things should be in realtime only hence I am thinking of doing it in some gaming engine, but i am not sure if what I am to do here is possible.

I need guidance, a path, on how I should make start.

Answer 1

プラットフォーム、つまりWindows / Linuxなどを指定していませんが、実際には問題ではない場合があります。

私の最初の考えは、PICOTtsライブラリをBlenderGame Engine（BGE）と組み合わせることです。Picoエンジン用のPythonバインディングがあるかどうかはわかりませんが。

espeakプロジェクト（espeak.sourceforge.net/）は、通常のテキストを音素に変換します。これを使用して、シェイプキー（またはblendキー、Blenderの名前を忘れてしまいました。最後に遊んでから5年以上経ちます）を駆動できます。 Blender / Maya / 3DSMax）。

おそらく、Pythonでespeakエンジンを実装し（またはPython経由でアクセス可能なモジュールを作成し）、それを使用して必要な音素を生成してから、シェイプ/ブレンドキーコントローラーとPicoに同時に渡すことができます。

簡単に見てみると、libttspico-devはpico対応アプリの開発をサポートするパッケージのようですが、c / c ++ファイルしか含まれていないようです-エンジンを活用したPythonモジュールを作成できるはずですが、私は、名前と基本的な機能以外に、Picoについて何もよく知りません。これは愚かで情報に通じていない提案かもしれません。

いずれにせよ、それは確かに興味深いプロジェクトです。おそらく、より簡単な方法は、OGREとPicoを使用するC /C++でアプリを作成することです。重要な要素は、OGREが1つのシェイプキーから次のシェイプキーにブレンドできることです。また、コールバックを取得したり、再生中のスピーチの現在の位置を監視したりできないように、Picoが内部ですべてを実行している可能性もあります。

ブックマークしました。