1

印刷を使用してファイルに出力するときに、ファイルのサイズが4 GBに制限されるのはなぜですか?ストリーミング出力を使用すると、任意のサイズのファイルを生成できるはずです。

更新ijwChas。オーエンスは正しかった。F:ドライブはNTFSでフォーマットされていると思いましたが、実際にはFAT32ファイルシステムを使用していました。別のドライブで試してみたところ、20GBのテキストファイルを生成できました。この場合、制限はありません。皆様、お詫び申し上げます。


詳細:ここでStack Overflowに関する質問に答えるために調査しているときに、Perlを使用して非常に大きなテキストファイルを読み取るパフォーマンスを測定する必要がありました。読み取りをテストするために、大きなテキストファイルが必要でしたが、小さなPerlスクリプトを記述してテキストファイルを生成し、予期しない問題が発生しました。出力ファイルは、4GBに達するまで大きくなります。Windows Explorerによると、スクリプトの1回の実行でのサイズは4294967269バイト(およびディスク上の4294967296バイト)でした。スクリプトは続行されますが、ファイルは大きくなりません。

重要なのは、次の数だけです。

print NUMBERS_OUTFILE $line;

ここで、$ lineは、末尾に「\n」が付いた長い文字列です。線の長さは設定可能であり、この問題にとって重要ではありません。例:250文字または34000文字。NUMBERS_OUTFILEは、次のコマンドで作成されたファイルハンドルです。

open ( NUMBERS_OUTFILE,">F:\temp2\out1.txt")

ドライブF:NTFS形式であり、オペレーティングシステムを搭載したディスクとは別の物理ハードディスク上にあります。

理由は何ですか?回避策はありますか?


完全なPerlスクリプトBATドライバースクリプト(preタグでフォーマットされたHTML)。2つの環境変数MBSIZEとOUTFILEが設定されている場合、PerlスクリプトはWindows以外のプラットフォームで変更せずに実行できるはずです。

プラットフォーム:ActiveStateのPerl 5.10.0; 32ビット; ビルド1004。WindowsXPx64SP2、8 GB RAM、500GBグリーンキャビアハードディスク。

perl -V言う:

Summary of my perl5 (revision 5 version 10 subversion 0) configuration:
  Platform:
    osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
    uname=''
    config_args='undef'
    hint=recommended, useposix=true, d_sigaction=undef
    useithreads=define, usemultiplicity=define
    useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
    use64bitint=undef, use64bitall=undef, uselongdouble=undef
    usemymalloc=n, bincompat5005=undef
  Compiler:
    cc='cl', ccflags ='-nologo -GF -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_ST
RICT -DHAVE_DES_FCRYPT -DUSE_SITECUSTOMIZE -DPRIVLIB_LAST_IN_INC -DPERL_IMPLICIT_CONTE
XT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX',
    optimize='-MD -Zi -DNDEBUG -O1',
    cppflags='-DWIN32'
    ccversion='12.00.8804', gccversion='', gccosandvers=''
    intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234
    d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10
    ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8
    alignbytes=8, prototype=define
  Linker and Libraries:
    ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf  -libpath:"D:\Perl\
lib\CORE"  -machine:x86'
    libpth=\lib
    libs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.lib a
dvapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib mpr.l
ib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    perllibs=  oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib  comdlg32.l
ib advapi32.lib shell32.lib ole32.lib oleaut32.lib  netapi32.lib uuid.lib ws2_32.lib m
pr.lib winmm.lib  version.lib odbc32.lib odbccp32.lib msvcrt.lib
    libc=msvcrt.lib, so=dll, useshrplib=true, libperl=perl510.lib
    gnulibc_version=''
  Dynamic Linking:
    dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' '
    cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf  -libpat
h:"D:\Perl\lib\CORE"  -machine:x86'


Characteristics of this binary (from libperl):
  Compile-time options: MULTIPLICITY PERL_DONT_CREATE_GVSV
                        PERL_IMPLICIT_CONTEXT PERL_IMPLICIT_SYS
                        PERL_MALLOC_WRAP PL_OP_SLAB_ALLOC USE_ITHREADS
                        USE_LARGE_FILES USE_PERLIO USE_SITECUSTOMIZE
  Locally applied patches:
        ActivePerl Build 1004 [287188]
        33741 avoids segfaults invoking S_raise_signal() (on Linux)
        33763 Win32 process ids can have more than 16 bits
        32809 Load 'loadable object' with non-default file extension
        32728 64-bit fix for Time::Local
  Built under MSWin32
  Compiled at Sep  3 2008 13:16:37
  @INC:
    D:/Perl/site/lib
    D:/Perl/lib
.
4

4 に答える 4

7

うーん、それは奇妙です。少なくともOSXとLinuxでは、ファイルシステムによって制限が課せられます。おそらく、Win32上のActivestate Perlは、ラージファイルをサポートしてコンパイルされていませんか?ランニングの結果を投稿してもらえますperl -Vか?

私たちが気にする出力の部分は

Platform:
osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread
uname=''
config_args='undef'
hint=recommended, useposix=true, d_sigaction=undef
useithreads=define, usemultiplicity=define
useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef
use64bitint=undef, use64bitall=undef, uselongdouble=undef
usemymalloc=n, bincompat5005=undef

具体的には、uselargefiles=define。この機能が定義されている(つまりオンになっている)という事実は、Perlがファイルオフセットに符号なし64ビット整数を使用することを意味します。これにより、理論的には、最大16エクサバイト(17,179,869,184ギガバイト)のファイルが可能になります。ただし、ファイルシステムの制限は、その制限に達する前に機能することがよくあります。

于 2009-09-03T13:51:30.093 に答える
5

これが私が見つけたものの1つです(リンク):

構成時間オプション

INSTALLドキュメントでは、いくつかの構成時オプションについて説明しています。これらのいくつかはCygwinで動作しますが、他はまだ可能ではありません。また、これらのいくつかは実験的なものです。構成でプロンプトが表示されたらオプションを選択するか、コマンドラインで記号を定義(定義解除)することができます。

..。

  • -Duselargefiles

    Win32は大きなファイルをサポートしていますが、Cygwinは現在、内部サイズと位置の計算に32ビット整数を使用しています。

于 2009-09-03T13:36:50.233 に答える
5

問題は、ファイル位置ポインタの制限が4バイトであるため、4GB以降のファイル位置に書き込めないことだと思います。これは、Perlがファイルの位置を追跡する必要があるため、ストリーミング出力を使用している場合でも同様です。

代わりにWin32API::Fileを使用しようとします。これにより、ファイル位置ポインターの上位4バイトを別のフィールドに送信することで、4 GBを超える位置を探すことができwriteFile()、出力ファイルへの書き込みに使用するとうまく機能するはずです。

于 2009-09-03T13:34:01.210 に答える
2

「32ビット」の部分が問題だと思います...32ビットの数値で表現できる最大の数値は約4GBです(http://en.wikipedia.org/wiki/Integer_%28computer_science%29

- 編集 -

私は実際にはファイルシステムの制限ではなく、Perlの制限について言及していました。32ビットでコンパイルされており、4GBのraRAMにしかアクセスできないため。私の知る限り、NTFSには約8 GBの制限があり、これらのファイルを読み取るために何らかのウィンドウ方式を使用しています。しかし、それは別の話です。

于 2009-09-03T13:25:34.817 に答える