問題タブ [phrase]

Lucene.net でフレーズを検索する方法の例を教えてもらえますか?

インデックスに、フィールド「name」、値「Jon Skeet」を持つドキュメントがあるとします。「jon skeet」を検索するときに、そのドキュメントを見つけられるようにしたいと考えています。

ユーザーが入力した文字列を受け取り、それを各スペース文字で分割してから、分離された用語のリストに基づいて一致するものを検索する検索方法があります。

今、私はさらなる要件を与えられました：グーグルの二重引用符区切り文字を介してフレーズを検索できるようにすること。したがって、提供された検索用語が次の場合：

「一行の」テキスト

検索は、4つの別々の用語ではなく、「行」と「テキスト」の出現に一致します[検索する前に、開始と終了の二重引用符も削除する必要があります]。

どうすればC＃でこれを達成できますか？正規表現が道のりだと思いますが、あまり手を出していないので、それらが最善の解決策であるかどうかはわかりません。

さらに情報が必要な場合は、お問い合わせください。助けてくれてありがとう。

次の検索フレーズがあり、抽出する必要があります

1. ABC XYZ
2. モバイルアクセサリー
3. サムスン250

それらが任意の順序で文字列に出現するたびに。アプリケーションは C# .Net です。

前もって感謝します。

例 1 入力 - ABC XYZ カテゴリ:「モバイル アクセサリ」 出力 - ABC XYZ およびモバイル アクセサリ

例 2 入力 - モデル:"Samsung 250" カテゴリ:"モバイル アクセサリ" ABC XYZ 出力 - Samsung 250、モバイル アクセサリ、ABC XYZ

例 3 入力 - ABC XYZ 出力 - ABC XYZ

例 4 入力 - モデル:"Samsung 250" ABC XYZ 出力 - Samsung 250 および ABC XYZ

次のようなステートメントでmysqlから結果をフェッチできるようにしたいと思います。

しかし、（ユーザーからの入力に基づいて）特定の月と年に制限された結果を取得したい...私は次のように試みていました：

... $m1か月ですが、エラーが発生しました。

その表では、実際には2つの日付が startDateあります。endDateしかし、私はに焦点を当てていstartDateます。入力値は月と年になります。その年のその月に基づいて結果を取得するSQLステートメントをどのように表現しますか？

ドキュメント内の一意のフレーズの数を数える方法を知っているか、コードを持っている人はいますか? (1 語、2 語句、3 語句)。

ありがとう

探しているものの例: 私が言いたいのは、テキスト ドキュメントがあり、最も一般的な単語句が何であるかを確認する必要があるということです。例文

私は車を洗車場に持って行きました。

フレーズと、それが現れる回数が必要です。

どんな助けでも大歓迎です。これに最も近いものは、http://tools.seobook.com/general/keyword-density/source.phpの PHP スクリプトでした。

以前はこのためのコードがいくつかありましたが、見つかりません。

この "t1 t2 t3" (t1、t2、t3 をキューに入れる必要があります) のようなクエリを逆インデックス構造で検索したい場合、どのようにすればよいでしょうか?

1-最初に "t1" 用語を検索し、 "t1" を含むすべてのドキュメントを見つけ、次に "t2" と "t3" に対してこの作業を行います。次に、「t1」、「t2」、「t3」の位置が隣り合っている文書を見つけます。

2-最初に「t1」用語を検索し、「t1」を含むすべてのドキュメントを見つけます。次に、見つかったすべてのドキュメントで「t2」を検索し、次に、この結果で「t3」を含むドキュメントを見つけます。 " .

私は完全な逆索引を持っています。上記のどの方法が最適化されているか知りたいのですが、(1) または (2) ですか?

どうもありがとう。

「to the」、「and the」などの平凡な一般的なフレーズと、「pick up」、「fall in love」、「red herring」などの独自の語彙的意味を持つ定型句やイディオムを区別できる手法は何ですか? "、 "デッドエンド"？

辞書がなくても成功する手法はありますか?たとえば、HMM が大規模なコーパスでトレーニングする統計的手法はありますか?

または、ほぼすべての単語と共起する可能性のある「乱雑な」単語と、単独または特定の限定された慣用句のセットで発生する単語を無視または重み付けするなどのヒューリスティックがありますか?

そのようなヒューリスティックが存在する場合、「beat up」、「eat up」、「sit up」、「think up」に「up」などの乱雑な単語が組み込まれている決まり文句や言葉のフレーズをどのように考慮に入れるのでしょうか?

アップデート

オンラインで興味深い論文を見つけました:慣用表現の教師なし型とトークン識別

約 3 億のクエリに一致する約 700 万のフレーズのセットがあります。

クエリは部分文字列にすることも、フレーズ自体を含めることもできます。基本的に、2 つのフレーズ間の「類似性」の尺度が必要です [必ずしも編集距離ではありません]

誰かがこれを行うための効率的なアルゴリズムへの指針を与えることができますか? Pythonを使用したスト​​リーミングを介してHadoopでこれを行うため、分散アルゴリズムを好みます。

データベースにフレーズのリスト（フレーズは1つ以上の単語で構成されている場合があります）と入力文字列があります。これらのフレーズのどれが入力文字列に表示されるかを調べる必要があります。

Javaでそのようなマッチングを実行する効率的な方法はありますか？

ドキュメント内の全文検索にsolr1.4とsolr4を使用しています。現時点では、テキストブロックの「犬が走っている」などのフレーズ全体を検索できません。「犬は家の中を走っています。」このテストケースでは、単純なsolr URLを使用します：http：// plocalhost：8088 / solr / select /？start = 0＆q= "犬が走る"

次のオプションを使用して、トークン化され、ステム化されたテキストファイルを使用しています。

なぜそれが機能しないのか、私にはわかりません。:-(...ヒントをありがとう。