問題タブ [language-model]

テキストコーパスの言語モデルを構築したいと考えています。私の仕事を軽減するすぐに使える優れたツールキットはありますか? 私が知っている唯一のツールキットは、CMU による統計言語モデリング (SLM) ツールキットです。

よろしく、

ほぼ 1 GB の ARPA ファイルがあります。1分以内に検索する必要があります。私はたくさん検索しましたが、適切な答えはまだ見つかりません。ファイル全体を読む必要はないと思います。ファイル内の特定の行にジャンプして、その行全体を読み取るだけです。ARPA ファイルの行の長さが同じではありません。ARPA ファイルには特定の形式があることに言及する必要があります。

ファイル形式

サンプル ファイルでわかるように、1 グラムが 19 行、2 グラムが 234 行、3 グラムが 1013 行あります。行の文字列部分をプログラムに渡し、文字列の左側と右側にある数字を取得します。入力文字列は、ファイルのどの部分を検索する必要があるかを知るのに役立ちます。ファイルが非常に大きく、ファイル全体を読み取るには時間がかかるため、ファイルを完全に読み取らない方法を見つける必要があります。インデックスファイルを使わずにファイル内の特定の行にジャンプして行全体にアクセスするのは良い方法だと思います。

あなたが私の任務を遂行するのを手伝ってくれるなら、それは素晴らしいことです。

SPHINX を実行すると、 kylmによって生成された ARPA LM があり、次の例外スタック トレースが表示されます。

ARPA LM の抜粋を次に示します。

PS :後に改行があります\end\

例外は、SPHINX が最後の行で予期しない EOF に遭遇していることを示しています (そこで EOF に遭遇するはずではありませんか??)

助けてください！

私は音声合成と音声合成の開発を行っていますが、OpenEarsAPIが非常に便利であることがわかりました。

このcmu-slmベースのAPIの原理は、言語モデルを使用して、iPhoneデバイスで聞いた音声をマッピングすることです。そこで、API音声認識エンジンにフィードするための大きな英語モデルを見つけることにしました。しかし、OpenEarsで使用するvoxfourge英語データモデルの形式を理解できませんでした。

英語の.languagemodelファイルと.dicファイルをOpenEarsで動作させるにはどうすればよいか考えている人はいますか？

50,000 語近くの ARPA 言語モデル ファイルを作成したいと考えています。テキスト ファイルを CMU 言語ツールに渡して言語モデルを生成できません。これらの多くの単語の言語モデルを取得できる他のリンクはありますか?

CMUSLMツールキットを使用してテキストファイルからARPAファイルを作成しました。

.lm現在、プロジェクトで生成されたARPAファイルをandfileの代わりに使用する方法がわかりません.dic。

誰かがそれについて知っているなら、私に知らせてください。

ARPA 言語モデル形式に関するドキュメントはどこにありますか?

ポケットスフィンクスSTTエンジンを使った簡単な音声認識アプリを開発しています。そこでは、パフォーマンス上の理由から ARPA が推奨されます。カスタム ニーズに合わせて言語モデルを調整するために、どの程度のことができるかを理解したいと考えています。

私が見つけたのは、いくつかの非常に簡単な ARPA 形式の説明だけです。

• http://kered.org/blog/2008-08-12/arpa-language-model-file-format/
• http://www.speech.sri.com/projects/srilm/manpages/ngram-format.5.html
• http://www.speech.cs.cmu.edu/SLM/toolkit_documentation.html

私は STT の初心者であり、これを理解するのに苦労しています (n-gram など...)。より詳細なドキュメントを探しています。ここのJSGF文法に関するドキュメントのようなもの：

http://www.w3.org/TR/jsgf/

ARPAファイル（バックオフ言語モデル）をロードし、それらを使用してテキストを評価するためのpythonicインターフェイスを探しています。たとえば、ログ確率、困惑などを取得します。

Python で ARPA ファイルを生成する必要はありません。クエリに使用するだけです。

おすすめのパッケージはありますか？すでにkenlmとswig-srilmを見ましたが、最初のものは Windows でセットアップするのが非常に難しく、2 番目のものはもうメンテナンスされていないようです。

LMにはkenlm paperが良さそうです。最小限のドキュメントが与えられているように感じ、理解に困難を感じました。

したがって、kenlm を理解する一環として、モデルのクエリの出力形式を理解する必要があります。その詳細を教えてください。

タグが利用できないため、lm、kenlmで正しくタグ付けできませんでした。

詳細：

実行:

出力：