問題タブ [maxent]

トレーニング コーパスで MaxEnt 分類子をトレーニングしたいと考えています。私の機能は、POS タグや NER タグなどのように構文的および意味的です。そのような機能の定義をサポートする Java の MaxEnt 分類子の実装はありますか?

私は MaxEnt を使用してテキストを 20 の異なるクラスのいずれかに分類することを望んでいる NLP プロジェクトに取り組んでいます。手書きの管理データから、トレーニング、検証、およびテスト セットを手作業で作成しています。

トレーニング セットのクラスに必要なサンプル サイズと、検証/テスト セットの適切なサイズを決定したいと考えています。

現実の世界では、20 の結果は不均衡です。しかし、モデルの構築に役立つバランスの取れたトレーニング セットを作成することを検討しています。

だから私は2つの質問があります：

トレーニング セットの各カテゴリの適切なサンプル サイズを決定するにはどうすればよいですか?

実世界のデータに直面した場合にモデルが遭遇する可能性のある条件を反映するために、検証/テスト セットを不均衡にする必要がありますか?

私の言語用の stanford maxent tagger に付属する .tagger ファイルをテキスト エディタで読むことができません。.tagger ファイルの内容を表示するにはどうすればよいですか。

空間移動の潜在的な発生点を予測するために予測機能を使用しようとしています。このために、元の空間にプレゼンス ポイント、元の空間に 17 のラスター レイヤー、転送空間に 17 のラスター レイヤーをロードした dismo パッケージを使用します。すべてのラスターは、範囲、グリッド解像度、および次元が同一であり、地理座標のみが異なります。元のスペースと転送スペースは異なる大陸にあり、トレーニングとテストでサンプルを分割するために kfold 技術を使用しました。

maxent モデルを次のように適合させます。

しかし、転送空間に適合モデルを投影できず、次のように返されます。

*予測値 1 と 2 はラスター スタック ファイルにあります

*すべてのディレクトリが正しく選択され、ファイルがディレクトリに見つかりました。

*両方とも、スタックには地理空間ごとに同じ変数が含まれます

私は OCR 関連の Android アプリに取り組んでおり、アルファベットの分類に多変量ロジスティック回帰を使用する必要があります。私の質問は、文字認識にスタンフォード分類子 ( http://nlp.stanford.edu/software/classifier.shtml ) を使用できるかということです。画像のデータセットでトレーニングできる場合は? それができない場合は、その目的のために Java ライブラリを提案してください。

最近、MaxEnt Model v3.3.3e ソフトウェアをhttp://www.cs.princeton.edu/~schapire/maxent/ Web サイトからダウンロードしました。多くの問題のトラブルシューティングを行い、出力ファイルを表示してプログラムを実行することに成功しました。ただし、出力ファイルにはマップの画像が含まれていません。すべての統計とプロットを含む html ドキュメントを取得し、プロット フォルダーも取得しますが、私の種のニッチ モデルを示す写真や地図は取得しません。

なぜこれが起こっているのか誰にも分かりますか？これは、プログラムを実行する前にチェックするオプションと関係がありますか? どんな考えや提案も最も役に立ちます。ありがとう。

ジェイコブ

この質問が以前に出てきた場合は申し訳ありませんがmaxent()、dismo パッケージの各引数に何が入るか知っている人はいますか? さまざまな R フォーラム サイトと R ヘルプ ページ自体を検索しましたが、引数の入れ方がわかりませんでした。ここに予測変数のデータフレームのサンプルがあります

各行は、背景またはプレゼンス ポイントのいずれかです。その後、私が理解していないのは、maxent()式の p と a の引数に入る内容です。p 引数には、x 座標と y 座標、および 1 (存在) と 0 (存在しない) を示す 3 列目が含まれていますか? それとも、代わりに 1 と 0 を含む列が a 引数に入りますか? forest_coverはカテゴリ変数です。

一部のものを移動する必要があるかどうか、およびそれらが正しいデータ フレームにあるかどうか教えてください。前もって感謝します