問題タブ [stanford-nlp]

java.lang.OutOfMemoryErrorまれな入力ドキュメントに対してエラーをスローする NLP ライブラリ (Stanford NER) を使用しています。

最終的にこれらのドキュメントを分離し、エラーの原因を突き止める予定ですが、これを行うのは困難です (私は Hadoop で実行しているので、スプリット 379/500 などでエラーが 17% 発生することはわかっています)。 . 暫定的な解決策として、この特定の呼び出しに CPU とメモリの制限を適用できるようにしたいと考えています。これを行う最善の方法が何であるかはわかりません。私が最初に考えたのは、1 つのスレッドの固定スレッド プールを作成し、Future で時限 get() を使用することです。これにより、少なくともウォールクロックの制限が得られ、多少役立つ可能性があります.

私の質問は、合理的な量の努力でこれよりもうまくやる方法があるかどうかです.

スタンフォードNLP依存関係マニュアルはどこにありますか？オンラインで利用できますか？

スタンフォード NLP 解析ツールキットを使用しています。語彙集にある単語が与えられた場合、その頻度*を見つけるにはどうすればよいですか? または、頻度ランクが与えられた場合、対応する単語をどのように決定できますか?

*テキストサンプルだけでなく、言語全体で。

これは私が使用しているツールキットのデモです:

ここでデモされたStanfordNLPは、次のような出力を提供します。

品詞タグとはどういう意味ですか？公式リストが見つかりません。それはスタンフォード独自のシステムですか、それともユニバーサルタグを使用していますか？（JJたとえば、何ですか？）

また、たとえば名詞を探して文を繰り返し処理していると、タグが付いているかどうかを確認するようなことをすることになります.contains('N')。これはかなり弱いと感じます。プログラムで品詞を検索するためのより良い方法はありますか？

スタンフォード自然言語処理ツールキットを使用しています。Lexiconのメソッドでスペルミスを見つけようとしましたがisKnown、かなりの数の誤検知が発生します。そこで、2つ目のレキシコンをロードして、それも確認すると思いました。ただし、それは問題を引き起こします。

次の失敗トレースが生成されます。

この行をコメントアウトすると:(およびwsjLexParseへの他の参照）

その後、すべてが正常に動作します。私はここで何が間違っているのですか？

私はこれを試しています：

それは私に与えます：

エラー：\ u \ nlp \ data \ pos-tagger \ wsj3t0-18-left3words \ left3words-wsj-0-18.tagger（システムは指定されたパスを見つけることができません）

私はスタンフォードのPOSタガーを使用しています。

この問題を克服するために何ができますか？

スタンフォードNLP品詞タガーを初期化しようとしていますが、java.lang.IncompatibleClassChangeErrorが発生し続けます。エラーの原因を出力するとnullになり、メッセージを出力するとImplementingClassが表示されます。

これは私のコードです：

誰かがこれを修正する方法を知っていますか？

機能の存在ではなく、機能頻度法を使用して単純ベイズ分類器をトレーニングする方法を示すコード スニペットを通じて誰かが私を助けることができるかどうか疑問に思っていました。

第6章のリンクテキストに示されているように、以下はFeature Presence（FP）を使用して機能セットを作成することを指していると思います-

ご意見をお聞かせください

「機能選択/抽出/重み」の意味と、それらの違いについて少し混乱しています。文献を読んでいると、この用語が非常に大ざっぱに使われていることに気づき、途方に暮れることがあります。私の主な関心事は...

1. 機能の頻度、機能の存在について人々が話すとき、それは機能の選択ですか?

2. 人々が情報利得、最大エントロピーなどのアルゴリズムについて話すとき、それはまだ機能選択です。

3. 例として分類子にドキュメント内の単語の位置を記録するように要求する機能セットを使用して、分類子をトレーニングした場合でも、この機能選択を呼び出すでしょうか?

ありがとうラフル・ディゲ