.net - .net 用の BigMemory のようなシステムはありますか

Question

私は、BigMemory がどのように Java システムをスケールアウトではなくスケールアップできるかについて読んでいます。

BigMemory を使用すると、ガベージコレクションの制約を受けずに、Java アプリケーションが大きなメモリフットプリントに瞬時に簡単にアクセスできるようになります。

BigMemory は純粋な Java であり、最大 1 テラバイトまでの大量のデータをアプリケーションの近くに格納できる、インプロセスのオフヒープキャッシュを提供します。

この画期的なソリューションは、スタンドアロンキャッシングと分散キャッシングの両方でメモリ使用率とアプリケーションパフォーマンスを向上させます。

では、インプロセス、オフヒープキャッシュなど、 .netで同じことを行うにはどうすればよいですか。(Asp.net キャッシュはガベージコレクションヒープ上にあることに注意してください)

score 8 · Accepted Answer

いいえ、.Net 用の BigMemory システム (つまり、インプロセスの非 GC ヒープメモリマネージャー) はありませんが、自分で作成することはできます。

アンマネージヒープを利用して、ガベージコレクションを行わないインプロセスヒープを作成できますが、生のメモリではなくオブジェクトを操作している場合は、オブジェクトをシリアライズおよびデシリアライズする必要があり、これは低速です。

オブジェクトを取得できるように、ヒープ情報のルックアップを保持する必要があります。これには明らかに独自のメモリオーバーヘッドがあるため、次のような大量の非常に小さなオブジェクトには適していません。

を。管理オブジェクトによって多くのメモリが占有されます。
b. GC は暴走して管理オブジェクトをスキャンします。

オブジェクトが十分に大きく、オブジェクトの数が多すぎない場合は、これでうまくいく可能性があります。

ただし、管理情報の一部をアンマネージドヒープにプッシュすることもできます。多くの最適化の機会があります。

これはすべて、キーと値のキャッシュのように機能するようにまとめることができるため、ヒープ情報とヒープを抽象化できます。

更新しました

.Net よりも大幅に高速なバイナリシリアル化を行うProtobufを使用するようにサンプルコードを更新しました。この単純なサンプルは、key\value ラッパーを使用して、1 秒あたり 425k オブジェクトを Put+Get できます。ミレージは、オブジェクトのサイズ\複雑さによって異なります。

マネージドヒープでのメモリ消費を削減するために、オブジェクトサイズはアンマネージドヒープに格納されます。

...
...
using ProtoBuf;

[TestFixture]
public class UnmanagedHeap
{
    [Test]
    public void UnmanagedHeapAccess()
    {
        const int Iterations = 425 * 1000;
        const string Key = "woo";

        Bling obj = new Bling { Id = -666 };
        Cache cache = new Cache();
        Stopwatch sw = Stopwatch.StartNew();

        for (int i = 0; i < Iterations; i++)
        {
            cache.Put(Key, obj);

            obj = cache.Get<Bling>(Key);
        }

        cache.Remove(Key);

        Console.WriteLine(sw.Elapsed.TotalMilliseconds);
    }

    [DataContract]
    public class Bling
    {
        [DataMember(Order = 1)]
        public int Id { get; set; }
    }

    public class Cache
    {
        private const int SizeFieldWidth = 4;

        private readonly Dictionary<string, IntPtr> _lookup = new Dictionary<string, IntPtr>();

        public void Put(string key, object obj)
        {
            IntPtr oldPtr = _lookup.TryGetValue(key, out oldPtr) ? oldPtr : IntPtr.Zero;

            IntPtr newPtr = SerializeToHeap(obj, oldPtr);

            _lookup[key] = newPtr;
        }

        public T Get<T>(string key)
        {
            IntPtr ptr = _lookup[key];

            return DeserializeFromHeap<T>(ptr);
        }

        public void Remove(string key)
        {
            IntPtr ptr = _lookup[key];

            Marshal.FreeHGlobal(ptr);

            _lookup.Remove(key);
        }

        private static IntPtr SerializeToHeap(object obj, IntPtr oldPtr)
        {
            using (MemoryStream ms = new MemoryStream())
            {
                Serializer.Serialize(ms, obj);
                byte[] objBytes = ms.GetBuffer();
                int newSize = (int)ms.Length;
                bool requiresAlloc = true;

                if (oldPtr != IntPtr.Zero)
                {
                    int oldSize = GetObjectSize(oldPtr);

                    requiresAlloc = (oldSize != newSize);
                }

                IntPtr newPtr = requiresAlloc ? Marshal.AllocHGlobal(newSize + SizeFieldWidth) : oldPtr;

                byte[] sizeField = BitConverter.GetBytes(newSize);
                Marshal.Copy(sizeField, 0, newPtr, SizeFieldWidth);
                Marshal.Copy(objBytes, 0, newPtr + SizeFieldWidth, newSize);
                return newPtr;
            }
        }

        private static T DeserializeFromHeap<T>(IntPtr ptr)
        {
            int size = GetObjectSize(ptr);
            byte[] objBytes = new byte[size];
            Marshal.Copy(ptr + SizeFieldWidth, objBytes, 0, size);

            using (MemoryStream ms = new MemoryStream(objBytes))
            {
                return Serializer.Deserialize<T>(ms);
            }
        }

        private static int GetObjectSize(IntPtr ptr)
        {
            byte[] sizeField = new byte[SizeFieldWidth];
            Marshal.Copy(ptr, sizeField, 0, SizeFieldWidth);
            int size = BitConverter.ToInt32(sizeField, 0);
            return size;
        }
    }
}