だから私は、ビデオの再生にGoogle のShaka プレーヤーを使用する Web アプリを持っています。MediaSource API を使用して、オーディオ セグメントとビデオ セグメントをストリーミングします。
オーディオ トラックの生の PCM データに対してオーディオ処理を行いたいと考えています。オーディオ セグメントを .mp4 形式で取得し、これらを ArrayBuffer の形式で SourceBuffer に追加し、それを MediaSource に追加して再生することがわかります。このフローをハイジャックし、データを PCM にデコードし、何らかの処理を行ってから、処理した PCM を SourceBuffer に戻す方法はありますか? .mp4 から PCM へのセグメントを取得するためのAudioContext.decodeAudioData API があるようですが、これはAudioBufferSourceNodeと AudioBuffer を返しますが、これは通常の SourceBuffer に追加できません。これを回避する方法はありますか？
PCM データを .mp4 に再エンコードできると思いますが、それは大きな無駄のようです。