問題タブ [memcached]

バックグラウンド

私は現在オンライン コミュニティを開発しており、一時的な情報をハッシュ テーブルに保存したいと考えています。現在、この情報は memcached に保存されていますが、memcached サービスを再起動する必要があるか、失敗した場合は、オンディスク ハッシュ/キャッシュに戻りたいと考えています。

質問

MySql でディスク上のハッシュまたはキャッシュ テーブルを実装する最も効果的な方法は何ですか? 次のフィールドを持つ単純なテーブルから抜け出すために使用できる手法はありますか:

• ハッシュ値
• 保存値
• 有効期限

どんな助けや洞察も大歓迎です。

明瞭さ

• 複雑なデータ オブジェクトは保存せず、単純なテキスト文字列だけを保存します。
• 私の現在の計画は、InnoDB テーブルを実装することです。
• 同様のトピックに関する記事へのリンクはおまけです。

私の Python アプリケーションは現在、python-memcached APIを使用して memcached 内のオブジェクトを設定および取得しています。この API は、Python のネイティブpickle モジュールを使用して、Python オブジェクトをシリアライズおよびデシリアライズします。

この API を使用すると、ネストされた Python リスト、辞書、およびタプルを memcached に簡単かつ迅速に格納できます。これらのオブジェクトをアプリケーションに読み込むことは完全に透過的であり、機能します。

しかし、私は Python だけを使用することに限定したくありません。また、すべての memcached オブジェクトが pickle でシリアル化されている場合、他の言語で記述されたクライアントは機能しません。

私が検討したクロスプラットフォームのシリアル化オプションは次のとおりです。

1. XML - 主な利点は人間が判読できることですが、このアプリケーションではそれは重要ではありません。XML も多くのスペースを必要とし、解析にはコストがかかります。

2. JSON - 優れたクロスプラットフォームの標準のように思えますが、memcached から読み戻されたときにオブジェクト タイプの特性が維持されるかどうかはわかりません。たとえば、この投稿によると、タプルはsimplejsonを使用するとリストに変換されます。また、JSON 構造に要素を追加すると、古い構造に記述されたコードが壊れる可能性があるようです

3. Google Protocol Buffers - 非常に高速でコンパクトに見えるため、これに非常に興味があります。少なくとも XML よりも 10 倍小さく高速です。人間が読める形式ではありませんが、このアプリにとっては重要ではありません。古いコードを壊さずに構造の成長をサポートするように設計されているようです

このアプリの優先順位を考えると、memcached の理想的なオブジェクトのシリアル化方法は何ですか?

1. クロスプラットフォームのサポート (Python、Java、C#、C++、Ruby、Perl)

2. ネストされたデータ構造の処理

3. 高速シリアライゼーション/デシリアライゼーション

4. 最小メモリフットプリント

5. 古いコードを壊さずに構造を変更できる柔軟性

get、put、delete、および list をサポートする最適なキャッシュ システム/デーモンは何ですか (memcached は list をサポートしていないと思います)。

例

キャッシング ソリューションに memcached を使用したいのですが、現在使用しているアプリケーションの設計に行き詰まっています。つまり、常に異なるキャッシュ キーを持つ必要がある次の 3 つの URL をキャッシュするというものです。これにより、キャッシュ アイテムを生成できる URL パラメーターのリストを宣言するだけで済みます。

• /badappdesign?iod=3
• /badappdesign?iod=3&h=23
• /badappdesign?iod=3&dsfj=435&dasv=342

この例では、iod=3 が変更されているため、iod=3 を含むすべてのキーをクリアする必要があります

私は現在、データベースにキャッシュしており、「%iod=3%」のようなかなり高価な処理を行う必要があります

何を助けることができますか？

I've been reading up on so-called "data grid" solutions for the Java platform including Terracotta, GigaSpaces and Coherence. I was wondering if anyone has real-world experience working any of these tools and could share their experience. I'm also really curious to know what scale of deployment people have worked with: are we talking 2-4 node clusters or have you worked with anything significantly larger than that?

I'm attracted to Terracotta because of its "drop in" support for Hibernate and Spring, both of which we use heavily. I also like the idea of how it decorates bytecode based on configuration and doesn't require you to program against a "grid API." I'm not aware of any advantages to tools which use the approach of an explicit API but would love to hear about them if they do in fact exist. :)

I've also spent time reading about memcached but am more interested in hearing feedback on these three specific solutions. I would be curious to hear how they measure up against memcached in the event someone has used both.

複数のプロジェクト間で Memcache の 1 つのインスタンスを共有することは可能ですか。

あるプロジェクトの memcache 内に 1 つのオブジェクトをプッシュするとします。別のプロジェクトから同じオブジェクトを取得することは可能ですか。?

最近、memcache にキャッシュする前のクエリの処理に時間がかかっています。この例では、10 秒かかりました。この場合、私がやろうとしているのは、最新の 10 件のヒットを取得することだけです。

125,592 行すべてをロードして 10 行しか返さないような気がしますが、そうですか?

別の遅いクエリを次に示します。

phpMyAdmin でクエリを実行すると、1.3395 秒かかります。実行するSELECT * FROM hitsだけで0.0001秒しかかかりませんが。すべてのヒットを返すのに、それらを並べ替えるよりも時間がかからないのは非常に奇妙だと思いますか、それとも単に並べ替えているだけですか?

私のテーブルを見たい人のために：

Memcached デーモンの RAM 使用量を視覚化したいのですが、使用するのに最適なユーティリティは何ですか?

理想的には、Perl を使用したいと考えています。

memcached内のオブジェクトには1メガの制限があります。これより大きいオブジェクトを格納するための最良の方法は何ですか？

Enyim.Netクライアントを使用しています。

error_log起動時に次の行を示します。

動的ライブラリ '/usr/lib/php/extensions/no-debug-non-zts-20060613/memcache.so' をロードできません - (null) 行 0 の不明

ファイルが存在し、適切にコンパイルされました。PHP のバージョンは 5.2.6 です。数時間グーグルで調べた後、いくつかの同様の問題を見つけることができましたが、解決策はありませんでした。