python - NLTK と言語検出

Question

NLTK を使用して、テキストがどの言語で書かれているかを検出するにはどうすればよいですか?

私が見た例では を使用nltk.detectしていますが、Mac にインストールすると、このパッケージが見つかりません。

Answer 1

次のコード スニペットを見つけましたか?

english_vocab = set(w.lower() for w in nltk.corpus.words.words())
text_vocab = set(w.lower() for w in text if w.lower().isalpha())
unusual = text_vocab.difference(english_vocab) 

http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=activeから

または、次のデモ ファイルですか?

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

Answer 2

これは NLTK にはありませんが、別の Python ベースのライブラリで素晴らしい結果が得られました。

https://github.com/saffsd/langid.py

これはインポートが非常に簡単で、モデルに多数の言語が含まれています。