Python 側から TensorFlow CTC 実装でビーム スコアラーをカスタマイズすることは可能ですか? CTCBeamSearchDecoder C++ クラス コンストラクターのコメントでこの可能性を確認しましたが、Python ユーザーにこの機能を提供する方法を知りたいですか?
私たちが抱えている具体的な問題は、言語モデルを CTC ベースの音声デコーダーにプラグインすることです。言語モデルは、事前にトレーニングされた TensorFlow サブグラフである可能性があり、ビーム スコア調整の確率を出力できます。しかし、これをビーム スコアラーに注入する方法が必要です。
現在、Python がカスタム スコアラーで言語モデルを使用するための API はありません。コントリビューションは大歓迎ですが、Python API でこれを可能にするのは困難です。これは、デコーダ op 内の独立したセッションで TF LM サブグラフを実行する必要があり、それらがうまくブレンドされないためです。
これを行う最も簡単な方法は C++ であり、BaseBeamScorer クラスを BeamState (テストで見られるものと同様) と共に拡張し、通常は入るテンソルフロー グラフからの出力の上で CTCBeamSearchDecoder::Decode をさらに実行する必要があります。 ctc_beam_search_decoder op.
これを行うことで、BeamScorer の実装は手元にある任意の言語モデルを利用でき、ビームをある状態から別の状態に拡張するときに適切なスコアを返すだけで済みます。