人間が生成したコンテンツの膨大なコレクションがあります。最も頻繁に出現する単語または語句を見つけたい。これを行う効率的な方法は何ですか？

フレーズ/単語のリストをチェックし、それらを互いに比較して、どれが適切に入力されたフレーズ/単語であるかを確認するためのスクリプトを作成するためのヘルプを探しています。

したがって、各配列の各インデックスを比較する際には、各配列を調べて両方の値を比較する必要があります。最終的に、次のものが生成されます。

どんな助けでも、私はそれを感謝します！

ドキュメント内の一意のフレーズの数を数える方法を知っているか、コードを持っている人はいますか? (1 語、2 語句、3 語句)。

ありがとう

探しているものの例: 私が言いたいのは、テキスト ドキュメントがあり、最も一般的な単語句が何であるかを確認する必要があるということです。例文

私は車を洗車場に持って行きました。

フレーズと、それが現れる回数が必要です。

どんな助けでも大歓迎です。これに最も近いものは、http://tools.seobook.com/general/keyword-density/source.phpの PHP スクリプトでした。

以前はこのためのコードがいくつかありましたが、見つかりません。

Lucene で頻出フレーズをいくつか取得したいと思います。TXT ファイルから情報を取得していますが、フレーズの情報がないために多くのコンテキストが失われています。たとえば、「情報検索」は 2 つの別個の単語として索引付けされています。

このようなフレーズを取得する方法は何ですか? 私はインターネット上で役立つものを見つけることができません.すべてのアドバイス、リンク、ヒント、特に例は大歓迎です!

編集：タイトルとコンテンツだけでドキュメントを保存します：

私がやっていることにとって最も重要なのはファイルの内容だからです。タイトルがまったく説明的でないことがあまりにも多い (たとえば、タイトルがコードまたは数字である PDF 学術論文がたくさんある)。

テキスト コンテンツから上位に出現するフレーズをインデックス化する必要がどうしてもありますが、この単純な「単語の袋」アプローチがいかに効率的でないかがわかりました。

私はMagentoに比較的慣れておらず、クライアント向けのサイト構築に取り組んでおり、サイト全体で使用されているフレーズのリストを翻訳者に送信する必要があるだけです. このようなものを簡単に引き出すための単純なものが Magento に組み込まれていないことに少し驚いています。そのため、今ここに書いています。Magento アプリから翻訳フレーズを抽出する比較的簡単な方法はありますか? （私には）明らかではないかもしれない組み込みの何か？またはいくつかの便利なライブラリがありますか？これには、次のようにテンプレート (またはコントローラー) で使用されるすべてが含まれます。

... 'translate' 属性が設定されているレイアウト XML の場合など。

そして、これをさらに一歩進めると、ここで Magento から入手可能な翻訳を認識しています: http://www.magentocommerce.com/translations - フレーズに対して二重にしていないことを確認するための簡単な方法はありますか?これらのパックに既に存在する可能性がありますか？

さらに、すべての翻訳対象をデータベースから引き出すものはありますか?

そして、これらすべての答えが「いいえ」であることが判明した場合は、これを徹底的に行う必要があるため、落とし穴や特定のスポットに関するアドバイスは、どこから翻訳を引っ張ることを考えていないのか、どのように翻訳を引き出すことができるかを認識する必要があります以前にこのようなことを達成したことがあります.--あなたのヒントを聞きたいです。ありがとう！

私のサイトにはブックマーク機能があります。その人が段落をクリックすると、その段落の上に既に「これをブックマーク」と書かれたボックスが表示され、「これをブックマーク」の代わりに「甘い男」が挿入されます。'これをブックマーク' が消えて "sweet man" が代わりに表示されます。段落をクリックすると、3 つのランダムなフレーズのうちの 1 つがそこに配置されます。3 つのフレーズが "success"、"sweet" であるとしましょう。男」、「すごい」。ランダムなフレーズがどこに配置されるかを示すコードを少し示します。

私のコードのどこに「SWEET MAN.」と書かれているかを見てください。ユーザーが段落をクリックした後、3 つのランダムなフレーズのうちの 1 つを配置する必要があります。

ありがとうございました

私は、英語を話す学生（第二言語として英語を使用する）が英語を話すためのシミュレーション環境を開発するための研究を行っています。

私の開発の一部では、実際の事件に対してタグ付けされた英語のスピーチフレーズを主に使用するデータソースが必要です。例として、「申し訳ありませんが謝罪する方法。ごめんなさい。ごめんなさい！失くしてすみません。」</p>

このサービスhttp://edition.englishclub.comを提供しているサイトはいくつか見つかりましたが、データソースは見つかりませんでした。

誰かが「wordnet」のように使用できるそのようなデータソースを使用したことがありますか？もしそうなら、私がこれを前進させるのを手伝ってください。そうでなければ、私は車輪の再発明をしたいと思うようなデータソースを開発する必要があります。

製品データベーステーブルから人気のある単語やフレーズ（最大3単語）を取得したいと思います。

素晴らしいもののためにsphinxsearchサービスを使ってみました。

1. 結果は、製品テーブルにあるスロベニア語の特殊文字（čžš）を含まない単純なtxt単語です。

2. 結果は1語のみで、フレーズはありません

sphinxはこれをインデックスから構築します...すべて（インデックスの構築を含む）で、100,000の製品に対して約2分かかりました...

これは印象的です..私はこれをたまにしか必要としないので（1 /月）...

しかし、前に言ったように、私の場合は使用できません...。

他の選択肢は何ですか？

約5,000の単語とフレーズが必要です

製品のデータベースソースを編集する

データのインデックスを作成し、solr と solr の検索オプションを構成するにはどうすればよいですか。次の要件でオートコンプリート (Google など) が可能です。

製品: - タイトル、説明、ID を含む製品があります。 lan/wi-fi - この製品またはこの製品のフィールドは、次のことが可能になるようにインデックスを作成する必要があります (TOSHIBA や tOSHiba など、ユーザーが検索用語を検索する方法に違いはありません) - ユーザーが最初の 3 文字 "tos" 最大 20 件の結果 (完全なタイトル (フレーズ) 例: "toshiba tecra s1: centrino 1.5 ghz/xp pro/15.0" tft/40 gb/256 mb+256mb/cd-rw-dvd-rom/ lan/wi-fi") がオートコンプリート ボックスに表示されます。- たとえば、ユーザーが「toshiba tecra」という 2 つの用語を入力した場合、検索結果はより正確である必要があり、「toshiba tecra」という (一貫した) 用語を含むすべてのドキュメントが表示される必要があります。

これについて、どのようなトークナイザー/検索コンポーネントを使用するかなどのヒントを得ることができれば幸いです。

私はsolrバージョン3.5を使用しています

考えてくれてありがとう ラモ

テキストを含む一連のドキュメントが与えられた場合、フレーズを検索し、すべての一致を返し、それらをランク付けしたいと思います。lucene/solr を取得してどのドキュメントが一致するかを示し、ドキュメント内で強調表示する方法は知っていますが、同じドキュメントから複数の一致を含むランキングを取得するにはどうすればよいですか?

「テキスト行」を検索した場合、次のようにランク付けされた 3 つの一致を見つけたいと思います。

これは可能ですか？どのように？