問題タブ [part-of-speech]

品詞タグ付きのツリーとして表される文を含むテキスト コーパスがあります。この木構造からおそらく確率文法を学習できるシステムを構築したい。これに取り組むことができる組み込みのpythonモジュールはありますか、それともパーサーを構築する必要がありますか?

たとえば副詞を数えたいのですが、「_ RB」、「_ RBR」、「_RBS」などの種類ごとに異なるタグがあります。3つのシーケンスでサブストリングを使用してみましたが、これにより、「_RB」と「_RBS」の長いタグを見つけることができなくなります。JavaでStanfordPOSタガーを使用していますが、各タイプのタグをカウントする方法がわかりません。これが私がこれまでに持っているものです：

タグ付きはタグ付き文字列です。

タグ付けされた文字列の例を次に示します。

NLTKを使用して、特定のテキストでどの単語がフィラー ワードであるかを表示する方法はありますか? そうでない場合、英語の単語を含む単語リストをどこで入手できるか知っている人はいますか? ありがとうございました

解決済み: nltk.corpus インポート ストップワードから

感情分析のために単純な単純ベイズ分類器と k-nn を実装しました。感情分析のアルゴリズムの比較研究を行っています。感情分析用のアルゴリズムをもう 1 つ実装したいと考えています。maxent maximum entropy model について調べましたが、実装方法がわかりません。誰かがそれを実装する方法を教えてくれたり、役に立つリンクを提供したりできますか?

私の主な目的は、Facebookのステータスまたは任意の文をポジティブまたはネガティブに分類することです

また、他のアルゴリズムを知っている場合は、それを実装するためのガイダンスを親切に提案してください。

英語の品詞のタグ付けをどのように判断するか、少し混乱しています。この場合、英語の 1 つの単語には 1 つのタイプがあると仮定します。たとえば、「book」という単語は、動詞ではなく名詞として認識されます。時制に基づいて英文を認識したい。たとえば、「I send the book」は過去時制として認識されます。

説明：

いくつかのデータベース (*.txt) ファイルがあります: NounList.txt、verbList.txt、adjectiveList.txt、adverbList.txt、connectionList.txt、prepositionList.txt、articleList.txt。そして、入力された単語がデータベースにある場合、それらの単語のタイプを推測できると思います。しかし、データベースでルックアップを開始するにはどうすればよいでしょうか? たとえば、「I sent the book」: データベースで、名詞としての「I」、動詞としての「sent」、冠詞としての「the」、名詞としての「book」のすべての単語の検索を開始するにはどうすればよいでしょうか? すべてのデータベースのすべての単語を検索するよりも良い方法はありますか? すべてのデータベースに独自の要素があるとは思えません。

ここに私の見解をまとめます。

POS のタグ付けは、私の課題における二次的な説明です。そこで、データベースに基づいた POS タグ付けを決定するために、単純なアプローチを使用します。しかし、より簡単なアプローチがある場合: 使いやすく、理解しやすく、疑似コードを取得しやすく、設計しやすい... POS タグ付けを決定するために、私に知らせてください。

句動詞の「動詞」の隣に「分離可能な句動詞助詞」が表示されるように、単語の並べ替えを行いたい POS タグ付きの対訳コーパス テキスト ファイルがあります (「計画を立てる」の代わりに「計画を立てる」) . これは、統計機械翻訳システムでの前処理に使用されます。POS タグ付きテキスト ファイルの行の例を次に示します。

1. you_PRP mean_VBP we_PRP should_MD kick_VB they_PRP out_RP ._.
2. don_VB 't_NNP take_VB it_PRP off_RP until_IN I_PRP say_VBP so_RB ._.
3. please_VB help_VB the_DT man_NN out_RP ._.
4. shut_VBZ it_PRP down_RP !_.

すべての助詞 (例: out_RP、off_RP、out_RP、down_RP) を直前の動詞 (助詞と組み合わせて句動詞を構成する動詞) のすぐ隣に移動したいと考えています。語順を変更した後の行は次のようになります。

1. you_PRP mean_VBP we_PRP should_MD kick_VB out_RP それら_PRP ._.
2. don_VB 't_NNP take_VB off_RP it_PRP until_IN I_PRP say_VBP so_RB ._.
3. please_VB help_VB out_RP the_DT man_NN ._.
4. shut_VBZ down_RP it_PRP !_.

これまでのところ、Python と正規表現を使用して、re.findall を使用して問題をソートしようとしました。

これにより、すべての句動詞が語順 1 (以下を参照) で検索されますが、助詞を動詞の隣に移動する方法が分からないため、これまでのところです。この問題を適切に解決する方法はありますか (必ずしも python と正規表現を使用する必要はありません)。すべての句動詞を検索し、次の語順で助詞を移動できるようにしたいと考えています。

(使用されているタグは、Penn Treebank タグセット ( http://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html ) から取得されます)(x は、すべての動詞形式を含めるためのオプションの文字を示し、 * はワイルドカード単語を示します))

1. *_VBx+*_DT+*_NN+*_RP
2. *_VBx+*_DT+*_NNS+*_RP
3. *_ VBx+* _DT+*_.JJ+*_NN+*_RP

4. *_ VBx+* _DT+*_.JJ+*_NNS+*_RP

5. *_VBx+*_PRP$+*_NN+*_RP

6. *_VBx+*_PRP$+*_NNS+*_RP
7. *_ VBx+* _PRP$+*_.JJ+*_NN+*_RP

8. *_ VBx+* _PRP$+*_.JJ+*_NNS+*_RP

9. *_VBx+*_NNP+*_RP

10. *_VBx+*_JJ+*_NNP+*_RP

11. *_VBx+*_NNPS+*_RP

12. *_VBx+*_PRP+*_RP

事前に、あなたの助けに感謝します!