問題タブ [key-value-store]

クライアントはリアルタイム データをサーバーに送信します。サーバーは、これらのデータを使用して簡単な分析を行います。特定の範囲のデータのみを検索するか、一部のデータを並べ替えます。ほとんどのデータは分析後に破棄されるため、ディスクに保存する必要はありません。

それらを処理するためにいくつかのメモリDBを使用したいと思います。MYSQL のメモリ エンジンは適切な選択ですか? Redis などのキー値メモリ キャッシュ エンジンを使用するとどうなりますか? データを比較する必要があるため、純粋なキー値ストアでは要件を満たせない可能性があります。

キーと値のペアをRedis-pyクライアントを介してRedisデータベースに保存しています。すべてのキーは一意であり、重複はありません。次に例を示します。

ハッシュ（キー名と同じ）を追加すると、パフォーマンスが向上しますか？例えば、

私の要件は、対応する値を取得するためにキーを検索することです。

コールバック メソッドを提供する membase を実行します。要件は、membase に値が入力されるとすぐに、コールバック メソッドが呼び出され、データがデータベースまたは任意のファイル システムに保存されることです。membase はこの機能をサポートしていますか、またはそれをサポートしている他のキー値ストアはありますか?

Amazon DynamoDBやKyoto Cabinetなど、拡張性の高いキー値データベースについて聞いたことがあります。

しかし、日常の問題の用途が見当たりません。

例: ID、タイトル、コンテンツ、およびいくつかのタグを持つ「投稿オブジェクト」があり、特定のタグを持つすべての投稿を検索するためにデータベースにクエリを実行したいとします。キー値データベースでどのように行うことができますか?

PostgresのHStoreについて、Redisが提供しているものについても読みました。

私たちのアプリケーションはNodeJSで書かれています。2つの質問：

• パフォーマンスの面では、Postgres HStoreはRedisに匹敵しますか？

• セッションストレージの場合、Redis、または他の種類のデータ型（HStore、あるいは通常のリレーショナルテーブルなど）を使用したPostgresのどれをお勧めしますか？そして、一方のオプションがもう一方のオプションと比べてどれほど悪いのでしょうか。

もう1つの制約は、すでにPostgreSQLにあるデータを使用し、それをアクティブなセッションと組み合わせる必要があることです（RedisまたはPostgreSQLの場合、この時点でどこに保存するかはわかりません）。

私たちが読んだことから、Redisをセッションマネージャーとして使用することが指摘されていますが、PostgreSQLの制約により、両方を組み合わせる方法と、発生する可能性のあるパフォーマンスの問題がわかりません。

ありがとう！

私の Python アプリでは、キー/バリュー ストアをいくつかのプロセス間で共有する必要があります。1 つはデータを更新し、他のプロセスはランダムなタイミングでのみ取得します。永続性は必要ありません。

私の最初のアイデアはmemcachedを使用することでしたが、RAMが不足したときに古いデータを削除するLRUメカニズムがあるようです。そのような場合にエラーが発生することを望みます。

明らかに、memcached はキャッシュ システムとして最適化されていますが、私が必要としているのは単にネットワーク アクセス可能なハッシュ テーブルだけです。簡単なものをゼロから実装することはできますが、なぜ車輪を再発明するのでしょうか?

キー値ストア hbase 上で実行されるワークフロー エンジンを作成しようとしています。永続層のない強力な python フレームワーク/ライブラリが存在するかどうかを教えてもらえますか (独自の永続層を実装する必要があります)。

インデックス付きファイルに大量のデータ セット (数百ギガバイトの範囲) を格納できる cdb (コンスタント データベース) に似たツールが必要です。CDB は理想的な候補ですが、ファイル サイズが 2 GB に制限されているため、適していません。私が探している機能は、バイナリ キーと値をサポートする永続的なキーと値のストアです。データベースを作成すると、読み取り専用になり、変更されることはありません。おすすめのツールを教えてください。ところで、何十億ものレコードを保存するので、ストレージのオーバーヘッドは小さいはずです。

ところで、スタンドアロンサーバーではなく、db 管理ライブラリ (組み込み可能) を探しています。C プログラム内で使用できるもの。

ありがとう、RG

私はMySQLに慣れており、KeyValueStoreの使用方法を理解しようとしています。私が見たことがないのは、データベース設計の例や、情報を挿入して取得する方法のような優れた初心者です。

これは、MySQLのデータをKey Valueストアに保存する方法を正しく表していますか？

だから、私が上で正しければ。一般的なユーザー情報の取得は、理解するのに十分簡単です。しかし、Key Valueストアで次のクエリを実行するにはどうすればよいですか？

これを簡単に実行できると私が思った方法は、別のテーブルを作成することです。（5,000人を超えるユーザーがいると仮定します。数百人しかない場合は、これを行う他の方法があると確信しています）

ただし、新しい誰かが参加したり、場所を更新したりするときに、2つのテーブルを調整する必要があります。大したことではないと思います。アプリケーションコードを非常に正確にする必要があります。

これはこれらの問題を解決するための最良の方法ですか？それとも私は何かが足りないのですか？

一時的なメモリ内キー値ストアのようなものが必要です。Redis のようなソリューションがあることは知っています。しかし、Python 辞書を使用するとうまくいくのでしょうか? さらに速くなる可能性はありますか？したがって、Tornado (または同様の) サーバーが実行され、Python 辞書をメモリに保持し、HTTP 要求に基づいて適切な値を返すだけだと考えてください。

なぜこれが必要なのですか？サービスの一部としてキー値が保存されますが、キー値には次のような性質があります。新しいものほど、アクセスされる可能性が高くなります。したがって、取得を高速化するために、最後の 100 個のキー値をメモリ内 (およびディスクへの書き込み) に保持したいと考えています。

サーバーが停止した場合、ディクショナリはディスクから再度復元できます。

誰かがこのようなことをしましたか？ここで何かが完全に欠けていますか？

PS: WSGI サーバーでは不可能だと思いますよね? 私の知る限り、個々のリクエスト間で何かをメモリに保持することはできません。