圧縮された多数のファイル (.txt) でテキストを検索できる必要があります。圧縮は別のものに変更されるか、独自のものになることさえあります。すべてのファイルを解凍することを避け、検索文字列を圧縮 (エンコード) し、圧縮されたファイルで検索したい。これは、すべてのファイルに対して同じコードブックでハフマン圧縮を使用することで可能になるはずです。私は車輪を再発明したくないので..誰かがこのようなことを行うライブラリや、実装およびテストされたハフマンアルゴリズム、あるいはより良いアイデアを知っていますか?
前もって感謝します
ほとんどのテキストファイルは、辞書コーダーとハフマンなどのエントロピーコーダーを組み合わせたLZファミリーのアルゴリズムの1つで圧縮されています。
ディクショナリコーダは継続的に更新される「ディクショナリ」に依存しているため、そのコーディング結果は履歴（現在のシンボルまでの入力データから派生したディクショナリ内のすべてのコード）に依存するため、ジャンプすることはできません。最初に前のすべてのデータをデコードせずに、特定の場所でデコードを開始します。
私の意見では、ファイル全体が解凍されるのを待たずに、解凍されたデータをそのまま返すzlibストリームデコーダーを使用できます。これは実行時間を節約しませんが、メモリを節約します。
2番目の提案は、英語の単語でハフマンコーディングを行い、辞書コーダーの部分を忘れることです。各英語の単語は、一意のプレフィックスなしのコードにマッピングされます。
最後に、@ SHODANは最も賢明な提案をしました。それは、ファイルにインデックスを付け、インデックスを圧縮し、圧縮されたテキストファイルとバンドルすることです。検索を行うには、インデックスファイルだけを解凍して単語を検索します。これは実際、単語に対してハフマン符号化を行うよりも改善されています-単語の頻度を見つけたら（プレフィックスコードを最適に割り当てるために）、すでにインデックスを作成しているので、検索用にインデックスを保持できます。
圧縮ファイル内のテキストの検索は、圧縮されていないテキスト ファイル内の同じものを検索するよりも高速です。
高速検索を行うためにスペースを犠牲にする、私が見た圧縮技術の 1 つ:
特に、単一の単語の検索は、通常、圧縮されたテキストの 16 ビット インデックスを比較するだけで済みます。これは、元のテキストでその単語を検索するよりも高速です。
一部の正規表現は、圧縮ファイル内のアイテムを直接検索する別の正規表現に変換できます (また、いくつかの誤検知も検出される可能性があります)。このような検索では、元のテキスト ファイルに対して元の正規表現を使用する場合よりも比較の回数が少なくなります。これは、圧縮ファイルの方が短いためです。ただし、通常、各正規表現の比較にはより多くの作業が必要です。元のテキスト。
(原則として、rwong が述べたように、固定長の 16 ビット コードを可変長のハフマン プレフィックス コードに置き換えることができます。結果として得られる圧縮ファイルは小さくなりますが、それらのファイルを処理するソフトウェアは少し遅くなります。複雑）。
より高度なテクニックについては、以下を参照してください。
圧縮ファイル内の圧縮されていない文字列を検索できる可能性はほとんどありません。最善の選択肢の 1 つは、何らかの方法でファイルにインデックスを付けることだと思います。おそらくLuceneを使用していますか？
ここでは完全に間違っているかもしれませんが、ファイルをデコードせずに特定の文字列を検索する信頼できる方法はないと思います。圧縮アルゴリズムに関する私の理解では、特定の文字列に対応するビットストリームは、圧縮されていないファイルの文字列の前にあるものに大きく依存します。特定のファイル内の特定の文字列の特定のエンコーディングを見つけることができるかもしれませんが、ファイル間で一貫性がないと確信しています。