非常に多くの場合、文字列を含む基本的に混合データを含む、さまざまな形式の非常に大きなバイナリ ファイル (50 ～ 500Gb) を処理する必要があります。
ファイル内の文字列にインデックスを付けて、データベースまたはインデックスを作成する必要があるため、迅速な検索 (基本的な検索または正規表現を使用した複雑な検索) を実行できます。もちろん、検索の出力は、バイナリ ファイル内で見つかった文字列のオフセットになります。
このタスクに役立つツール、フレームワーク、またはライブラリを知っている人はいますか?