インデックス付きファイルに大量のデータ セット (数百ギガバイトの範囲) を格納できる cdb (コンスタント データベース) に似たツールが必要です。CDB は理想的な候補ですが、ファイル サイズが 2 GB に制限されているため、適していません。私が探している機能は、バイナリ キーと値をサポートする永続的なキーと値のストアです。データベースを作成すると、読み取り専用になり、変更されることはありません。おすすめのツールを教えてください。ところで、何十億ものレコードを保存するので、ストレージのオーバーヘッドは小さいはずです。
ところで、スタンドアロンサーバーではなく、db 管理ライブラリ (組み込み可能) を探しています。C プログラム内で使用できるもの。
ありがとう、RG
もう 1 つのオプションは、Dan J. Bernstein の cdb を拡張した mcdb です。
https://github.com/gstrauss/mcdb/
mcdb は非常に大きな定数データベースをサポートし、データベースの作成とデータベース アクセスの両方で cdb よりも高速です。それでも、数百ギガバイトのデータベースを作成するには、少し時間がかかる場合があります。mcdb は、キャッシュされたデータの場合は数秒で、コールド キャッシュから開始する場合は 1 分ほどでギガバイト サイズのデータベースを作成できます。
https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE
(開示: 私は mcdb の作成者です)
値が大きく、キーが小さい場合は、redis も考慮することができますhttp://redis.io
hamsterdb (私が著者)、berkeleydb、tokyo Cabinet があります。
hamsterdb は btree を使用するため、データをソートします。tokyo Cabinet はハッシュテーブルなのでソートされません。berkeleydb は両方を行うことができます。
私がお勧めするものは言うまでもありません;）
それらはすべて C アプリケーションにリンクできます。それらのいずれにも 2GB の制限はありません。
さようならクリストフ