9

プロセスがマシンをクラッシュさせないようにするために、Linux システムでのメモリ使用量を制限しようとしてsetrlimitいます (バグが 100 GiB を超えるメモリ消費につながったため、私のコードは高性能クラスターのノードをクラッシュさせていました) ）。に渡す正しいリソースが見つからないようですsetrlimit。setrlimit で制限できない常駐であるべきだと思いますが、常駐、ヒープ、スタックで混乱しています。以下のコードでは; のみコメントを外すと、その配列は 80 MB しかないはずなのにRLIMIT_AS、コードはMemoryErrorat で失敗します。、、または両方の配列numpy.ones(shape=(1000, 1000, 10), dtype="f8")のみのコメントを外すと、合計メモリ使用量が 2 GB、または目的の最大値の 2 倍であっても、正常に割り当てられます。RLIMIT_DATARLIMIT_RSSRLIMIT_STACK

RAM の割り当てが多すぎるとすぐに、プログラムが失敗するようにしたいと考えています。RLIMIT_DATA、RLIMIT_RSS、RLIMIT_STACKおよびのどれも私が意味することをしないのはなぜですか?RLIMIT_ASに渡す正しいリソースは何setrlimitですか?

$ cat mwe.py 
#!/usr/bin/env python3.5

import resource
import numpy

#rsrc = resource.RLIMIT_AS
#rsrc = resource.RLIMIT_DATA
#rsrc = resource.RLIMIT_RSS
#rsrc = resource.RLIMIT_STACK

soft, hard = resource.getrlimit(rsrc)
print("Limit starts as:", soft, hard)

resource.setrlimit(rsrc, (1e9, 1e9))

soft, hard = resource.getrlimit(rsrc)
print("Limit is now:", soft, hard)
print("Allocating 80 KB, should certainly work")
M1 = numpy.arange(100*100, dtype="u8")

print("Allocating 80 MB, should work")
M2 = numpy.arange(1000*1000*10, dtype="u8")

print("Allocating 2 GB, should fail")
M3 = numpy.arange(1000*1000*250, dtype="u8")

input("Still here…")

RLIMIT_AS行のコメントを外して出力します。

$ ./mwe.py 
Limit starts as: -1 -1
Limit is now: 1000000000 -1
Allocating 80 KB, should certainly work
Allocating 80 MB, should work
Traceback (most recent call last):
  File "./mwe.py", line 22, in <module>
    M2 = numpy.arange(1000*1000*10, dtype="u8")
MemoryError

他のコメントを外して実行した場合の出力:

$ ./mwe.py 
Limit starts as: -1 -1
Limit is now: 1000000000 -1
Allocating 80 KB, should certainly work
Allocating 80 MB, should work
Allocating 2 GB, should fail
Still here…

最後の行でtop、プロセスが 379 GB VIRT、2.0 GB RES を使用していると報告しています。

システムの詳細:

$ uname -a
Linux host.somewhere.ac.uk 2.6.32-573.3.1.el6.x86_64 #1 SMP Mon Aug 10 09:44:54 EDT 2015 x86_64 x86_64 x86_64 GNU/Linux

$ cat /etc/redhat-release 
Red Hat Enterprise Linux Server release 6.7 (Santiago)

$ free -h
             total       used       free     shared    buffers     cached
Mem:          2.0T       1.9T        37G       1.6G       3.4G       1.8T
-/+ buffers/cache:        88G       1.9T 
Swap:         464G       4.8M       464G 

$ python3.5 --version
Python 3.5.0

$ python3.5 -c "import numpy; print(numpy.__version__)"
1.11.1
4

1 に答える 1