1

最近、Java MappedByteBuffer に関するいくつかのテストを行いました。同じファイルを連続してマップして読み取ると、読み取りに費やす時間がどんどん長くなることがわかりました。しかし、マップ サイズを変更しなければ、マップ サイズのバリエーション テストで同じマップ サイズを使用するよりも高速になります。

整数で満たされた1GBのファイル「dataFile」があります。

private final File dataFile = new File("~/testfile");
private final int intNum = 1024 * 1024 * 1024 / 4; // 1GB Integers

@Test
public void writeFile() throws Exception {
    DataOutputStream dos = new DataOutputStream(new BufferedOutputStream(new FileOutputStream(dataFile)));
    for (int i = 0; i < intNum; i++) {
        dos.writeInt(RandomUtils.nextInt());
    }
    dos.close();
}

そしてそれを読む方法

// read this dataFile in a loop with fixed map size
private void bufferSizePerformanceTest(final int buffSize) throws Exception {
    Stopwatch stopwatch = Stopwatch.createStarted();
    FileChannel fc = new RandomAccessFile(dataFile, "r").getChannel();
    MappedByteBuffer buffer;
    final int readPerLoop = buffSize / 4;
    int currentLen = 0;
    int readCount = 0;
    for (int i = 1; ; i++) {
        int i1 = i * buffSize;
        if (i1 >= dataFile.length()) {
            buffer = fc.map(FileChannel.MapMode.READ_ONLY, currentLen, dataFile.length() - currentLen);
            for (int j = 0; j < readPerLoop; j++) {
                buffer.getInt();
                readCount++;
            }
            break;
        } else {
            buffer = fc.map(FileChannel.MapMode.READ_ONLY, currentLen, buffSize);
            currentLen = i1;
        }

        for (int j = 0; j < readPerLoop; j++) {
            buffer.getInt();
            readCount++;
        }
    }
    fc.close();
//        ByteBufferUtil.releaseByteBuffer(buffer);
//        System.gc();
    System.out.println("readCount : " + readCount + " raf buffer size " + getMBytes(buffSize) + " MB : " + stopwatch.elapsed(TimeUnit.MILLISECONDS));
}

バリエーション buffSize テスト

private static int getMBytes(int bytes) {
    return bytes / 1024 / 1024;
}

// get the power of 2 by n
private static int getM(int n) {
    return (int) (Math.log10(n) / Math.log10(2));
}

@Test
public void testBuffSizeReadPerformance() throws Exception {
    System.out.println(ManagementFactory.getRuntimeMXBean().getName());
    for (int i = 0; i <= getM(1024); i++) {
        Thread.sleep(1000);
        bufferSizePerformanceTest((int) (Math.pow(2, i) * 1024 * 1024));
    }
}

バリエーション出力:

14071@LiuzhMacbook.local
readCount : 268435456 raf buffer size 1 MB : 122
readCount : 268435456 raf buffer size 2 MB : 133
readCount : 268435456 raf buffer size 4 MB : 29
readCount : 268435456 raf buffer size 8 MB : 35
readCount : 268435456 raf buffer size 16 MB : 38
readCount : 268435456 raf buffer size 32 MB : 124
readCount : 268435456 raf buffer size 64 MB : 241
readCount : 268435456 raf buffer size 128 MB : 456
readCount : 268435456 raf buffer size 256 MB : 1086
readCount : 268435456 raf buffer size 512 MB : 2458
readCount : 268435456 raf buffer size 1024 MB : 4952

固定 buffSize テスト:

@Test
public void testBuffSizeReadPerformance2() throws Exception {
    System.out.println(ManagementFactory.getRuntimeMXBean().getName());

    for (int i = 0; i < 10; i++) {
        bufferSizePerformanceTest(1024 * 1024 * 1024);
    }
}

出力

14157@LiuzhMacbook.local
readCount : 268435456 raf buffer size 1024 MB : 127
readCount : 268435456 raf buffer size 1024 MB : 111
readCount : 268435456 raf buffer size 1024 MB : 20
readCount : 268435456 raf buffer size 1024 MB : 17
readCount : 268435456 raf buffer size 1024 MB : 23
readCount : 268435456 raf buffer size 1024 MB : 19
readCount : 268435456 raf buffer size 1024 MB : 21
readCount : 268435456 raf buffer size 1024 MB : 22
readCount : 268435456 raf buffer size 1024 MB : 20
readCount : 268435456 raf buffer size 1024 MB : 33

2 つのテストが示すように、同じ buffSize(1024MB) での読み取りに費やされる時間は、2 つのテストでかなり異なります。buffSize を固定したテストは、バリエーション テストよりもはるかに高速です。

私の質問は次のとおりです。2. MappedByteBuffer は物理メモリを占有していますか? ActivityMonitor でわかるように、物理メモリを占有しません。

ありがとう

- - - アップデート - - -

リリース バッファ コード:

public static void releaseByteBuffer(ByteBuffer buffer) throws NoSuchFieldException, IllegalAccessException {
    Cleaner cleaner = ((DirectBuffer) buffer).cleaner();
    cleaner.clean();
}

この問題の原因はメモリ使用量ではないと思います。リリースコードとgcコードをオンにしても同じ出力になるからです。とにかく、メモリ使用量については、2 回目のテストでループ時間を 100 に設定しました。最初のテストよりも多くのメモリを使用する必要がありますが、最初のテストよりも高速です。

----- 更新 2 -----

テスト 1 で buffSize を増加させる代わりに減少させると、問題はなくなります。

@Test
public void testBuffSizeReadPerformance3() throws Exception {
    System.out.println(ManagementFactory.getRuntimeMXBean().getName());
    for (int i = getM(1024); i >= 0; i--) {
        bufferSizePerformanceTest((int) (Math.pow(2, i) * 1024 * 1024));
    }
}

出力：

16651@LiuzhMacbook.local
readCount : 268435456 raf buffer size 1024 MB : 101
readCount : 268435456 raf buffer size 512 MB : 187
readCount : 268435456 raf buffer size 256 MB : 31
readCount : 268435456 raf buffer size 128 MB : 30
readCount : 268435456 raf buffer size 64 MB : 36
readCount : 268435456 raf buffer size 32 MB : 37
readCount : 268435456 raf buffer size 16 MB : 37
readCount : 268435456 raf buffer size 8 MB : 32
readCount : 268435456 raf buffer size 4 MB : 44
readCount : 268435456 raf buffer size 2 MB : 34
readCount : 268435456 raf buffer size 1 MB : 55
4

1 に答える 1

1

「マップサイズを継続的に変更する」わけではありません。新しいマップを作成し続け、GCを含むマッピングが解放されるメカニズムがないため、ますます多くのメモリを使用しています。

MappedByteBuffersサイズを大きくする必要があることを意味する場合があります。

ByteBufferUtil.releaseByteBuffer(buffer)何が原因なのか、どこから来たのかはわかりませんが、これらの性質上、信頼できるものではありません。

于 2016-05-25T07:07:58.190 に答える