c++ - C++ が変数に異常に大量のメモリを割り当てる

Question

私は最近、整数がメモリから4バイトを取ることを知りました。

最初にこのコードを実行し、メモリ使用量を測定しました。

int main()
{
   int *pointer;
}

ここに画像の説明を入力

144KBかかりました。

次に、 1000 個の整数変数を割り当てるようにコードを修正しました。

int main()
{
   int *pointer;

   for (int n=0; n < 1000; n++)
     { 
       pointer = new int ; 
     }
}

ここに画像の説明を入力

次に、 (168-144=) 24KB かかりまし
たが、1000 個の整数が (4bytes x 1000=) 3.9KB を占めると想定されます。

次に、1MB のメモリを消費する 262,144 個の整数変数を作成することにしました。

int main()
{
   int *pointer;

   for (int n=0; n < 262144; n++)
     { 
       pointer = new int ; 
     }
}

驚いたことに、今では 8MB かかります

ここに画像の説明を入力

メモリ使用量は、整数の数に応じて指数関数的に増加します。
なぜこうなった？

私は Kubuntu 13.04 (amd64)
を使用しています。少し説明をお願いします。ありがとう！

注:sizeof(integer)リターン4

score 15 · Accepted Answer

個別に割り当てられた動的オブジェクトのメモリは連続している必要はありません。new char[N]実際、 (通常は 16 であるにアラインされる)のアラインメント要件により、標準のメモリアロケータは16 バイトアラインされたメモリ以外alignof(std::maxalign_t)を返そうとしないかもしれません。したがって、各割り当ては実際には (少なくとも) 16 バイトを消費します。(さらに、アロケーターが内部簿記のためにさらにメモリーを必要とする場合があります。)int

もちろん、std::vector<int>(1000000)100 万個の動的な整数を適切に処理するために使用する必要があるという教訓があります。

score 10 · Accepted Answer

一般的なアロケーターでの最適化されていない割り当てには、いくらかのオーバーヘッドが伴います。INFO ブロックと STORAGE ブロックの 2 つの「ブロック」を考えることができます。情報ブロックは、おそらく STORAGE ブロックのすぐ前にあります。

したがって、割り当てると、メモリに次のようなものがあります。

        Memory that is actually accessible
        vvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv
--------------------------------------------
|  INFO |  STORAGE                         |
--------------------------------------------
^^^^^^^^^
Some informations on the size of the "STORAGE" chunk etc.

さらに、ブロックは特定の粒度 (int の場合は 16 バイトのようなもの) に沿って整列されます。

すぐにテストできるので、これが MSVC12 でどのように見えるかについて書きます。

私たちの記憶を見てみましょう。矢印は 16 バイト境界を示します。

int 割り当ての場合のメモリレイアウト。各ブロックは 4 バイトを表します

単一の 4 バイト整数を割り当てると、特定の 16 バイト境界 (2 番目の境界の後のオレンジ色の四角) で 4 バイトのメモリが得られます。このブロックの前にある 16 バイト (青いブロック) は、追加情報を格納するために占有されています。(エンディアンなどはここでは省略しますが、これがこの種のレイアウトに影響を与える可能性があることに注意してください。) 割り当てられたメモリの前にあるこの 16 バイトブロックの最初の 4 バイトを読み取ると、割り当てられたメモリの数がわかります。バイト。

ここで 2 番目の 4 バイト整数 (緑色のボックス) を割り当てると、INFO ブロック (黄色/赤色) がその前に収まる必要があるため、その位置は 16 バイト境界の少なくとも 2 倍になりますが、右隣の境界ではそうではありません。 . 赤いブロックは、バイト数を含むブロックです。

簡単にわかるように、緑のブロックが 16 バイト前にあった場合、赤とオレンジのブロックがオーバーラップします。これは不可能です。

それは自分で確認できます。私はMSVC 2012を使用していますが、これはうまくいきました：

char * mem = new char[4096];
cout << "Number of allocated bytes for mem is: " << *(unsigned int*)(mem-16) << endl;
delete [] mem;


double * dmem = new double[4096];
cout << "Number of allocated bytes for dmem is: " << *(unsigned int*)(((char*)dmem)-16) << endl;
delete [] dmem;

版画

Number of allocated bytes for mem is: 4096
Number of allocated bytes for dmem is: 32768

そして、それは完全に正しいです。したがって、MSVC12 の場合、new を使用したメモリ割り当てには、サイズが少なくとも 16 バイトの追加の「INFO」ブロックがあります。

score 4 · Accepted Answer

複数の動的変数を割り当てています。各変数には 4 バイトのデータが含まれますが、メモリマネージャーは通常、割り当てられたブロックに関する追加情報を格納し、各ブロックを整列する必要があるため、追加のオーバーヘッドが発生します。

試してみpointer = new int[262144];て、違いを見てください。

score 2 · Accepted Answer

を割り当てるたびにint:

メモリアロケータは、メモリを任意の目的に使用できるように、一般にメモリ割り当てで適切なアライメントを提供する必要があるため、16 バイトでアライメントされたスペースのブロックを提供する必要があります。このため、各割り当ては通常、要求されたバイト数が少なくても、少なくとも 16 バイトを返します。(必要なアラインメントはシステムごとに異なる場合があります。また、小さな割り当てを最適化して使用するスペースを減らすことが考えられます。ただし、経験豊富なプログラマーは、小さな割り当てを何度も行うことを避けることを知っています。)
メモリアロケータは、割り当てられたスペースの量を記憶するために、いくらかのメモリを使用する必要がありますfree。(これは、使用されるスペースの知識をオペレーターと組み合わせることによって最適化される可能性があります。ただし、一般的なメモリー割り当てルーチンは、通常、コンパイラーおよびコードdeleteから分離されています。)newdelete
メモリアロケータは、データ構造にメモリを使用して、割り当ておよび解放されるメモリブロックに関する情報を整理する必要があります。おそらく、これらのデータ構造は O(n•log n) のスペースを必要とするため、小さな割り当てが多数あるとオーバーヘッドが大きくなります。

もう 1 つの考えられる影響は、メモリ使用量が増加するにつれて、アロケータがシステムからより大きなチャンクを要求して初期化することです。おそらく、メモリの初期プールを初めて使用するときに、アロケータはさらに 16 ページを要求します。次回は 32 を要求します。次回は 64 を要求します。メモリアロケータがシステムに要求したメモリのうち、intオブジェクトに対する要求を満たすために実際に使用されたメモリの量はわかりません。

多くの小さなオブジェクトを動的に割り当てないでください。代わりに配列を使用してください。

score 1 · Accepted Answer

各宣言は、間にスペースを必要とするコンパイラのアラインメントオプションに適した新しい変数を作成します (変数の開始アドレスは 128 または 64 または 32 (ビット) の倍数である必要があり、これにより、多くの変数と 1 つの配列のメモリの効率が低下します)。）。配列は、連続した領域を持つ方がはるかに便利です。

score 1 · Accepted Answer

他の質問で言及されているアラインメントとオーバーヘッドの問題に加えて、C++ ランタイム要求が OS からのメモリ割り当てを処理する方法が原因である可能性があります。

プロセスのデータセクションがいっぱいになると、ランタイムはプロセスに割り当てるメモリを増やす必要があります。同じサイズのチャンクでこれを行うとは限りません。考えられる戦略は、メモリを要求するたびに、要求する量を増やすことです (おそらく毎回ヒープサイズを 2 倍にする)。この戦略では、メモリをあまり使用しないプログラムのメモリ割り当てを小さく保ちますが、大規模なアプリケーションが新しい割り当てを要求する回数を減らします。

の下でプログラムを実行してstraceへの呼び出しを探し、brk毎回要求がどれだけ大きいかを確認してください。

score 1 · Accepted Answer

コンパイラが出力プログラムを作成する方法に依存すると思います。

プログラムのメモリ使用量には、プログラムのすべてのセクション (プログラムのアセンブリディレクティブを含む .text など) が含まれるため、ロード時にメモリの一部が消費されます。

また、より多くの変数の場合、メモリを割り当てるときにメモリが実際には連続していないため (メモリアライメント)、必要と思われるよりも多くのメモリが必要になる可能性があります。

score 1 · Accepted Answer

2 つの説明:

(ヒープ上での) 動的メモリ割り当ては、必ずしも連続しているわけではありません。ご利用の際newはダイナミックアロケーションを行います。
デバッグシンボル (-gコンパイラフラグ) を含めると、メモリ使用量が予想よりも大きくなる可能性があります。

score 1 · Accepted Answer

int だけでなく、オーバーヘッドのあるヒープブロックも割り当てています (プラットフォームによって異なります)。ヒープ情報を追跡する必要があります。代わりに int の配列を割り当てた場合、メモリ使用量が期待どおりになることがわかります。

c++ - C++ が変数に異常に大量のメモリを割り当てる

9 に答える 9

Related

Reference