私は友人と一緒に、主にオーディオ/ビデオ素材を利用し、MIDI によって制御されるリアルタイム ビジュアライゼーション用のプログラムを作成しようとしている小さなペット プロジェクトを持っています。さて、MIDI 部分は問題ではありません。ほぼすべての言語で適切な解決策を見つけているようですが、ビデオをスマートに処理する方法について、どのように見ればよいか、ひどく確信が持てません。高速シークと追加の視覚化 (複数の重ね合わせた画像など) の両方を探しています。
私はすでにいくつかのオプションを試しましたが、それらは非常に簡単に操作でき、タスクに少なくとも何かを提供しているように見えましたが、それらのそれぞれについて、後で探しているときに行き詰まりやパフォーマンスの低下に遭遇する可能性があると感じました。機能追加など。これまでのところ、Pure Data、Max、Processing を試しました。
私が主にアドバイスを求めているのは、ビデオの扱いに関して最適な、または少なくともまともな道に私を導くことです. 最大の問題は、どのプログラミング言語またはライブラリを使用する必要があるかを見つけることだけに時間を費やしていることです。それだけの指導があれば、ようやく本格的に取り組み、前進することができました。
私はPythonに最も慣れていると思いますが、提案は大歓迎です。私は gstreamer について少し読んだことがありますが、そこに何かがあるのではないかと考えていますが、処理や純粋なデータとは対照的に、結果を生成するのに少なくとも時間がかかる比較的低レベルのライブラリについて話しています。 /Max、たとえば。
言語/ライブラリに加えて、ビデオ形式の重要性に興味があります。コーデック、I フレーム、P フレーム、B フレームなどについて話し始めると、私の理解を少し超えてしまいます。最適なビデオ フォーマットを使用して、その赤ちゃんを RAM ディスクなどに詰め込み、それだけで満足のいくシーク速度を得るという解決策さえあるかもしれません。