問題タブ [noise-words]

データベースにクエリを実行して、SQL Server 2005 から全文検索のノイズ/ストップ ワードのリストを取得することはできますか?

ノイズ ワードがテキスト ファイル ~/FTData/noiseEng.txt にあることは承知していますが、このファイルにはアプリケーションからアクセスできません。

sys.fulltext_* テーブルを見てきましたが、これらには単語がないようです。

互換性レベル 90 (sql 2005) で SQL Server 2008 を実行している場合、リソース データベースのストップリストを使用しますか、それとも ftdata\ENU.txt ファイルを使用しますか?

また、2008 年に (互換性 100 を使用して) 独自のストップリストを作成した場合、システムのストップリストを無視して、全文クエリで独自のストップリストを使用できますか?それともシステムとカスタムのストップリストを使用しますか??

フルテキスト インデックス作成に関する質問がたくさんあります。ストップリストを扱うWeb上の優れたSQLリソースは、複数のテーブルにまたがって複数含まれています。大規模なレコード セット????

ありがとう！

私はANTLRの世界では非常に新しいので、この解析ツールを使用して一連の「ノイズの多い」文字列を解釈する方法を見つけようとしています。私が達成したいことは次のとおりです。

たとえば、次のフレーズを見てみましょう。It's 10PM and the Lazy CAT is currently SLEEPING heavily on the SOFA in front of the TV

私が抽出したいのはCAT、SLEEPINGそしてSOFA次のパターンに簡単に一致する文法を持っていることです: SUBJECT - VERB - INDIRECT OBJECT...どこで定義できるか

VERB : 'SLEEPING' | 'WALKING';
SUBJECT : 'CAT'|'DOG'|'BIRD';
INDIRECT_OBJECT : 'CAR'| 'SOFA';

など..永続的な「NoViableException」で終わりたくありません言語構造に関するすべての可能性を説明することはできません。無駄な言葉を切り裂いて、面白い言葉だけ残しておきたい。 トークナイザーがあり、パーサーに「OK、 SUBJECT

が見つかるまでストリームを読み、動詞が見つかるまで残りを無視するなど..」と尋ねた場合のようなものです。

たとえば、私は解釈できるようになりたいと思っています (私は、この完全に基本的で間違った '
SUBJECT - VERB - INDIRECT OBJECT
INDIRECT OBJECT - SUBJECT - VERB

だから私はまたはのような文を解析し

It's 10PM and the Lazy CAT is currently SLEEPING heavily on the SOFA in front of the TV

ます

It's 10PM and, on the SOFA in front of the TV, the Lazy CAT is currently SLEEPING heavily

ANTLRでノイズの多いデータストリームを解析することについてBartKiersと非常に興味深い議論をした後、私は別の問題に直面しています...

目的は同じです。次の文法で有用な情報を抽出するだけです。

次のような文it's 10PM and the Lazy CAT is currently SLEEPING heavily on the SOFA in front of the TV.は次のようになります

これは完璧で、私が望むことを正確に実行しています..大きな文から、私にとって意味のある単語だけを抽出しています....しかし、私は次のエラーを見つけました。テキストのどこかで、トークンとまったく同じように始まる単語を紹介している場合、最後にaMismathedTokenExceptionまたはnoViableException

エラーを生成します：

DOGGYDOGはTOKENの一部でもSUBJECTあり、レクサーが失われる始まりとして解釈されます...特別なトークンとして定義せずにこれを回避するにはどうすればよいですか...パーサー自体を単語としてDOGGY理解してもらいたいです。DOGGY

sys.dm_fts_parser に与えられた 2 つの類似した文字列が異なる結果をもたらすことを理解するのに非常に苦労しています

「0 CAD」が 1 トークンであると考えているようです (2 トークンを返します)。

3 つのトークンを返します - 正しく

もっと重要で、さらに紛らわしいのは、その理由です

select * from Table where contains(*,"point 5 CAD")動作し、 select * from Table where contains(*,"point 5 cad")失敗する

検索された列に「ポイント 5 CAD」が含まれている場合 -

フルテキスト インデックス ビルダーは、インデックス設定に基づいてノイズ ワード ("5" など) を無視するか、含める必要があります。
両方を試しましたが、なぜ「nnnn CAD」が特別なのか説明できません

http://msdn.microsoft.com/en-us/library/ms142583.aspxによると、全文は大文字と小文字を区別しないと想定されていることに注意してください。

私は何が欠けていますか？

編集：SQL 2012 11.0.2218を使用

だれか教えてください、インデックス サービスにおけるノイズ ワードの正確な意味を教えてください。Windows サーバーのインデックス サービスに取り組んでおり、多くの問題が発生しています。 Some questions on it: Does indexing services not search for noise words? What is the location and name of noise word file on windows server? ありがとう。

SQLサーバーでは、検索テキストは次のようになります

「彼女のため」
「子供のため」

しかし、これは検索では無視されます。ノイズ リストから「for」を削除する方法はありますか

全文検索を使用して郵便番号と住所を確認していますNNx。x は数字で、ノイズ ワードと見なされることがわかりました。この問題はわかっていますが、検索語に含まれているかどうかを確認してから代わりNNに使用する以外に、明確な解決策を思いつきません。LIKE

このコードを使用しています。

全文が NN をノイズ ワードと見なさないようにする方法、または回避する方法についてのアイデアはありますか?

更新: 入力文字列の NN をチェックする if を追加しました。NN が存在する場合は、代わりに Like を使用しますが、これはパフォーマンスに大きな影響を与えます。1秒未満から5秒以上になりました:/誰かがより良い解決策を持っていますか?

次のクエリがあるとします (PT 言語を使用):

ストップ ワードと見なされる印象があるàので、前のクエリでは結果が返されません (AND を使用しているため)。ここで、ストップワード リストをオフにすると、すべて正常に動作しますが、それは適切なオプションとは思えません。

ドキュメントを見た後、transform noise words オプションを見つけました。サーバーでアクティブ化し、カタログを再構築しましたが、まだ 0 件の結果が得られます。

ところで、このシナリオを再現できる可能性のある表と挿入は次のとおりです。

私は何が欠けていますか？

ありがとう！