sqlite - SQLite3、FTS3、ストップワード

Question

仮想 FTS3 テーブルの構築中に、SQLite3 が特定のキーワードまたは「ストップワード」をインデックス化しないようにするにはどうすればよいですか?

インデックスを作成したくない例には、「is」、「the」、「a」などがあります。

Answer 1

残念ながら、ストップ ワードを処理するトークナイザーは組み込まれていないため、C で独自のトークナイザーを実装し、リストからストップ ワードを手動で除外するか、事前にトークン化された/事前にフィルター処理されたテキストを関連する FTS テーブルの列に挿入する必要があります。または、テキストを FTS 列に挿入し、トークン化された後にフェッチし、フィルターしてから列の値を更新する、やや複雑なスキームを使用します。