問題タブ [stemming]

Javaでステミングするためのライブラリはありますか？

ルビー語幹https://github.com/aurelian/ruby-stemmerがありますが、1）英語の不規則動詞を語幹化しない2）Windowsでネイティブ拡張機能を構築できません。問題の少なくとも1つを修正する代替手段はありますか？

同じテーブル内に非常によく似た行を持つデータベースがあります。これらの行は、列の値がほぼ等しいため、類似しています。これらの対応する行を1つの行に統合する必要があります。

たとえば、これら2つのユーザー（u1とu2）を統合する必要があります。

私はいくつかの編集距離とステミングテクニックを使用することを考えています。他のアルゴリズムとテクニックの提案？使用するのに役立つライブラリはありますか（できればPythonまたはJavaで）？

JavaScript に由来するロシアのポーターの例を誰かが持っていますか?

私はショックを受けました。

過去 3 ～ 4 日間、mysql でステミング (およびシノニム検索) を実装する方法を考えていましたが、SQL Server でクエリが非常に簡単であることがわかりました。

MySqlで可能ですか?そのようなものはありませんか?

Django で書かれた Web サイトの検索ソリューションを実装したいと考えています。利用可能なオプション (Solr、Sphinx、Xapian、PostgreSQL/Tsearch3、MySQL を調査しました) から、Sphinx が最も優れているように見えます。ただし、ポーランド語のステミングはサポートされていません。ポーランド語は、検索可能にしたいデータの言語です。

Sphinx でサポートされていない言語を処理する最善の方法は何ですか? Ispell 辞書からステミング コーパスを作成できるという直感がありました。Sphinxでそれを機能させるにはどうすればよいですか?

Lucene (パッケージ org.tartarus.snowball.ext) のこれらのステマーを比較した人はいますか: EnglishStemmer、PorterStemmer、LovinsStemmer? それらの背後にあるアルゴリズムの長所/短所は何ですか? それぞれをいつ使用する必要がありますか？あるいは、英単語のステミングに利用できるアルゴリズムが他にもあるのではないでしょうか?

ありがとう。

solr インデックスに「American」を追加します。「アメリカ」で検索してもヒットしません。

結果を取得するには、schema.xml をどのように構成する必要がありますか?

現在の構成:

Javaアプリケーションでいくつかの英語のテキストを処理しているので、それらをステム処理する必要があります。たとえば、「アメニティ/アメニティ」というテキストから、「amenit」を取得する必要があります。

関数は次のようになります。

Lucene Analyzerを見つけましたが、必要なものには複雑すぎるように見えます。 http://lucene.apache.org/java/2_2_0/api/org/apache/lucene/analysis/PorterStemFilter.html

アナライザーを構築せずに単語を語幹にするためにそれを使用する方法はありますか？アナライザーのビジネスをすべて理解しているわけではありません...

編集：私は実際にステミング+レンマ化が必要です。Luceneはこれを実行できますか？

こんにちは私はのテキストからストップワードを削除するライブラリを探していますJavascript。私の最終目標はtf-idfを計算し、指定されたドキュメントをベクトル空間に変換することです。これはすべてですJavascript。誰かが私にそれをするのを助ける図書館を教えてもらえますか？ストップワードを削除するための図書館だけでも素晴らしいでしょう。