では、1 つずつ見ていきましょう。
音声信号からピッチを抽出しようとしています。
私は専門家ではなく、正式なトレーニングも最小限しか受けていませんが、この問題に対する最善の答えを知っていると思います。過去数年間、私は多くの検索、読書、実験を行ってきました。私のコンセンサスは、精度、複雑さ、ノイズの堅牢性、および速度の間のトレードオフに関して、自己相関法が群を抜いて最良のピッチ検出器であるということです。非常に特殊な状況でない限り、ほとんどの場合、自己相関を使用することをお勧めします。これについては後で詳しく説明します。その他の質問にお答えします。
あなたが説明しているのは、主に音声からピッチを抽出するために使用される方法である「ケプストラム分析」です。ケプストラム分析は、信号の倍音の豊富さと強さに完全に依存しています。たとえば、純粋な正弦波をケプストラム分析に渡すと、ひどい結果が得られます。しかし、複雑な信号である音声には、多数の倍音が存在します。（ちなみに、倍音は、基本周波数の倍数で振動している信号の要素です。つまり、私たちが知覚するピッチです）。ケプストラム分析は、基本周波数が欠落している音声を検出する際に堅牢です。つまり、関数をプロットしたとします。sin(4x)+sin(6x)+sin(8x)+sin(10x) . それを見ると、関数sin(2x)と同じ周波数を持っていることが明らかです。ただし、この関数にフーリエ解析を適用すると、sin(2x) に対応するビンのマグニチュードはゼロになります。したがって、この信号には、私たちが考える周波数の正弦波が含まれていないため、「基本周波数が欠落している」と見なされます。したがって、フーリエ変換で最大のピークを選択するだけでは、この信号では機能しません。
以前、単一の FFT の周波数ビンを調べて極大値を求める手法を使用しました。ピークが検出されると、狡猾な手法 (最後の FFT からの位相の変化) を使用して、ビン内の実際のピークをより正確に配置します。
あなたが説明しているのは、特定のパーシャルの周波数をより正確に測定するための位相ボコーダー技術です。ただし、基本周波数成分が欠落しているか弱い信号を使用する場合、最大のビンを選択する基本的な手法は問題を引き起こします。
ここで紹介するこの手法では、この精度が失われるのではないかと心配しています。
まず第一に、位相ボコーダー技術は単一の部分音の周波数をより正確に測定するだけであることを覚えておいてください。基本周波数に関するより高い部分音に含まれる情報は無視されます。次に、適切な FFT サイズが与えられれば、ピーク補間を使用して非常に高い精度を得ることができます。ここにいる他の誰かが放物線補間を指摘しています。私もこれを提案します。
データの 4098 サンプル ブロックの FFT を 44100 Hz、ピッチ約 440 Hz で放物線補間すると、40 番目 (430.66 Hz) と 41 番目 (441.430664064) ビンの間にあることになります。この論文が一般的なケースでほぼ正しいと仮定すると、放物線補間によって解像度が 1 桁以上向上すると言われています。これにより、人間の聴覚のしきい値である 1 Hz 以上の解像度が維持されます。実際、理想的なガウス ウィンドウを使用すると、放物線補間はピークで正確になります (そうです、正確です。ただし、真のガウス ウィンドウは両方向に無限に広がるため、決して使用できないことを覚えておいてください)。まだより高い精度を得ることが心配な場合は、いつでも FFT をパディングできます。これは、変換前に FFT の最後にゼロを追加することを意味します。これは、周波数が制限された信号の理想的な補間機能である「sinc補間」と同等であることがわかります。
2 番目の FFT の後にこの手法を使用して、基本波を正確に取得できると思います。しかし、ステップ 2 で情報が失われているように見えます。
それは正しいです。位相ボコーダ技術は、連続するフレームが接続され、特定の位相関係を持っているという事実に依存しています。ただし、連続するフレームの FFT の対数振幅は、位相に関して同じ関係を示さないため、この変換を 2 番目の FFT に使用しても意味がありません。
- このアプローチは理にかなっていますか？改善できますか？
はい、はい、最後に自己相関に関する私のビットの改善について詳しく説明します。
- 私は少し心配です そして対数二乗成分; まさにそれを行うvDSP関数があるようです：vDSP_vdbconしかし、それがログテーブルを事前計算する兆候はありません-FFT関数は明示的な事前計算関数を呼び出して渡す必要があるため、そうではないと思いますそれに。この関数はそうではありません。
vDSP ライブラリの詳細はわかりません。申し訳ありません。
オリジナルのフェーズ ボコーダー ピーク ピッキング テクニックでは？はい。ケプストラム法で？いいえ、そうではありません。要点は、すべての高調波を考慮して周波数推定値を取得することです。たとえば、周波数が 1 だとしましょう。倍音は 2、3、4、5、6、7、8、9 などです。 8 など、倍音の 1 つと混同される前に基本周波数を削除します。
- vDSP に最大値を最初に引き出させる狡猾な方法はありますか?
vDSP についてはわかりませんが、一般的なケースでは、通常、それらすべてを繰り返し処理し、最大のものを追跡します。
- この手法に関する研究や文献を教えてくれる人はいますか?
私がコメントであなたに与えたリンク P. は、良いもののように思えました。
また、このWeb サイトでは、あらゆる種類のピッチ抽出、操作など、理論的および実践的な方法で、DSP トピックの信じられないほど詳細で驚くほど幅広い説明を提供しています。(これは、サイト上のインデックスへのより一般的なリンクです)。私はいつも自分自身がそれに戻ってくることに気づきます。途中で飛び込むと少し圧倒されることもありますが、基本的な構成要素に戻ってすべての説明をいつでもたどることができます.
次に自己相関です。基本的な手法は次のとおりです。(ウィンドウ化された) 信号を取得し、時間遅延をさまざまな量にします。元の信号に最適な量を見つけてください。それが基本的な期間です。それは多くの理論的な意味があります。信号の反復部分を探しています。
実際には、信号のこれらすべての時間遅延コピーとの相関を取るのは時間がかかります。通常、代わりに次のように実装されます (これは数学的に同等です)。
元の長さを 2 倍にするためにゼロ パディングします。FFT を実行します。次に、0 に設定した最初の係数を除いて、すべての係数を振幅の 2 乗に置き換えます。次に、IFFT を実行します。すべての要素を最初の要素で割ります。これにより、自己相関が得られます。数学的には、循環畳み込み定理（調べてください）を使用し、ゼロパディングを使用して線形畳み込み問題を循環畳み込み問題に変換します。これは効率的に解決できます。
ただし、ピークの選択には注意してください。遅延が非常に小さい場合、信号は連続的であるため、信号自体と非常によく一致します。(つまり、ゼロを遅らせると、それ自体と完全に相関します) 代わりに、最初のゼロ交差の後に最大のピークを選択します。他の手法と同様に、自己相関関数を放物線補間して、より正確な値を得ることができます。
これだけでも、すべての基準で非常に優れたピッチ検出が得られます。ただし、ピッチが半分になったり、ピッチが 2 倍になったりすると、問題が発生することがあります。基本的に問題は、信号が 1 秒ごとに繰り返される場合、2秒ごとにも繰り返されることです。同様に、倍音が非常に強い場合、ピッチが半分になることがあります。そのため、最大のピークが必ずしも希望どおりになるとは限りません。この問題の解決策は、Phillip McLeod による MPM アルゴリズムです。アイデアは次のとおりです。
最大のピークを選択する代わりに、考慮するのに十分な大きさの最初のピークを選択します。ピークが考慮に値するほど大きいかどうかをどのように判断しますか? それが少なくともA*最大ピークと同じくらい高い場合、Aは定数です。Phillip は A の値を約 0.9 と提案しています。実際、彼が書いたプログラム、Tartini を使用すると、いくつかの異なるピッチ検出アルゴリズムをリアルタイムで比較できます。ダウンロードして試してみることを強くお勧めします(Cepstrum、直線自己相関、MPM を実装しています): (ビルドに問題がある場合は、こちらの手順を試してください.
最後に注意すべきことは、ウィンドウ処理についてです。一般に、滑らかなウィンドウであれば問題ありません。ハニング ウィンドウ、ハミング ウィンドウなど。より正確な時間測定が必要な場合は、ウィンドウを重ねることもお勧めします。
ところで、自己相関の優れた特性は、周波数が測定中のウィンドウ領域で直線的に変化している場合、ウィンドウの中心で正しい周波数が得られることです。
もう 1 つ: 私が説明したのは、偏った自己相関関数と呼ばれるものです。これは、タイム ラグが大きいほど、元の信号とタイム ラグ バージョンのオーバーラップが少なくなるためです。たとえば、N-1 サンプル遅延されたサイズ N のウィンドウを見ると、1 つのサンプルだけが重なっていることがわかります。したがって、この遅延での相関は明らかにゼロに非常に近くなります。これを補正するには、自己相関関数の各値をサンプルのオーバーラップ数で除算して取得します。これは不偏自己相関と呼ばれます。ただし、一般に、自己相関の遅延値が大きいほどノイズが多くなり、少数のサンプルのみに基づいているため、これを使用すると悪い結果が得られます。
いつものように、より多くの情報を探しているなら、グーグルはあなたの友達です. 適切な検索用語: 自己相関、ピッチ検出、ピッチ追跡、ピッチ抽出、ピッチ推定、ケプストラムなど。
