問題タブ [linguistics]

こんにちは私はそのようなタスクのソリューションを実装する方法を知りたいです：

平易な英語のテキストの500Mbファイルがあります。

単語の頻度に関する統計を収集したいのですが、さらに、各単語が正しく認識されていることを確認します（または単語の大部分）。

「彼女は大声で泣いた」という文の「泣く」は名詞として分類され、「泣かないでください」は統計に動詞を与えます。

また、固有名をフィルタリングして、別の辞書を形成することもできます。

他のタスクはもっと難しいでしょう。頻繁に出てくる単語の出現を見つけて、そのような出現のリストを作成したいと思います。

たとえば、「緑の草」、「美しい女の子」、「慎重に扱う」、「あなたは正しい」としましょう。正確に言うことができるように、どの単語シーケンスが言語で一緒に使用されることがよくありますか。

どうやって始めますか？このテーマに関するオープンなJavaツールと優れた本はありますか？

このような自然言語解析プログラムを構築する方法についての本は何ですか:

どの単語のつづりが間違っているかを予測できる言語モデルが必要です。

そのようなツールを構築する方法についての最高の本は何ですか??

ps スペルチェックする無料の Web サービスはありますか? おそらくGoogleから？

ブランド「ONE」をオンラインで監視する必要があるとしましょう。ブランドONEに関するページを一般的な単語ONEを含むページから分離するために使用できるアルゴリズムは何ですか？

ベイズがうまくいくかもしれないと思っていますが、これを行う他の方法はありますか？

私の質問を読むのをやめてくれてありがとう:) これは素晴らしい人々でいっぱいのとても素敵な場所です！

「言葉で文章を作る」について質問です。いいえいいえそれは英語の文法についてではありません:)

説明させてください、次のような言葉の袋がある場合

そして、ある種の次の文を生成できます

このトピックがどの分野に関連するかはわかりません。どこで答えを見つけようとすればよいでしょうか。私はグーグルを検索しようとしましたが、英語の文法のものしか見つかりませんでした:)

この問題でどのアルゴリズムが機能するかを教えてくれる人はいますか? または任意のプログラム

ありがとう

PS: これは割り当てではありません :) もしそうなら、私はソースコードを求めます! どの分野を探すべきかさえわかりません:)

言葉による関係の分類に使用するのに最適なアルゴリズムが何であるかはわかりません。例えば「The yellow sun」のような文章の場合、黄色と太陽の関係があります。これまで検討してきた機械学習手法は、ベインズ統計、ラフ集合、ファジー論理、隠れマルコフ モデル、人工ニューラル ネットワークです。

何か提案はありますか？

ありがとうございました ：）

単語の整列ツールとアルゴリズムを探しています。
私はバイリンガルの英語とヒンディー語のテキストを扱っており、現在取り組んでいます

• DTW (ダイナミック タイム ワーピング) アルゴリズム
• CLA（競合リンクアルゴリズム）
• NAツール
• ギザ++

言語に依存せず、並列英語ヒンディー語コーパスとその評価の統計的単語アライメントを達成できる他のアルゴリズム/ツールを提案してください。
一部のツールは特定の言語に最適です。それがどれほど正しいか教えてください。もしそうなら、ヒンディー語などのアジア言語により適した例を教えてください。そのような言語で使用してはいけないものの反例も歓迎します。

Uplug word alignerについて少し聞いたことがあります...このツールが私の目的に役立つかどうか誰か教えてください。

ありがとうございました.. ：）

PennTreebankタグセットの単語とタグの基本形があるとします。共役形を取得するにはどうすればよいですか？たとえば、「do」と「VBN」の場合、どうすれば「done」を取得できますか？

このタスクはすでにいくつかのnlpライブラリに実装されていると思うので、自転車を発明したくありません。そのようなものは存在しますか？

アルゴリズムによる文の否定の試みに精通している人がいるかどうか疑問に思っていました。

たとえば、「この本は良いです」のような文が与えられた場合、「この本は良くない」または「この本は悪い」のような反対の意味の代替文をいくつでも提供します。

明らかに、これを高度な精度で達成することは、現在の NLP の範囲を超えている可能性がありますが、この件に関して何らかの研究が行われたことは確かです。何か仕事を知っている人がいたら、いくつかの論文を教えてくれませんか?

私は、決まり文句や一般的なフレーズのテキスト内での使用を検索する任務を負っています。フレーズは、ホイール オブ フォーチュンのフレーズ パズルで見られるフレーズと似ています。以下にいくつかの例を示します。

• 悪銭身に付かず
• 現実と思うにはあまりに良すぎる
• 勝つことがすべてではない

ただし、フレーズのリストが見つかりません。そのようなリストを知っている人はいますか？

真剣に、すべての Wheel of Fortune ソリューションのリストでも十分です。