2

Javaシリアライゼーションについて質問があります。

FileOutputStream と BufferedOutputStream を Dataoutputstream と組み合わせて使用​​して、サイズ int[] array = new int[2^28] の 10 個の配列をハード ディスクに書き出すだけです (これはちょっと大きいことはわかっていますが、そのようにする必要があります)。 . 各シリアル化の前に、新しい FileOutputstream と他のすべてのストリームを作成し、その後、ストリームを閉じてフラッシュします。

問題: 最初のシリアル化には約 2 秒かかり、その後 tp 17 秒増加し、このレベルにとどまります。ここで何が問題なのですか？コードを調べてみると、FileOutputStreams が writeByte(...) に膨大な時間を費やしていることがわかります。これは HDD キャッシング (フル) によるものですか? どうすればこれを回避できますか? クリアできますか？

これが私の簡単なコードです：

    public static void main(String[] args) throws IOException {

    System.out.println("### Starting test");

    for (int k = 0; k < 10; k++) {
        System.out.println("### Run nr ... " + k);

        // Creating the test array....
        int[] testArray = new int[(int) Math.pow(2, 28)];

        for (int i = 0; i < testArray.length; i++) {
            if (i % 2 == 0) {
                testArray[i] = i;
            }
        }

        BufferedDataOutputStream dataOut = new BufferedDataOutputStream(
                new FileOutputStream("e:\\test" + k + "_" + 28 + ".dat"));

        // Serializing...
        long start = System.nanoTime();
        dataOut.write(testArray);

        System.out.println((System.nanoTime() - start) / 1000000000.0
                + " s");

        dataOut.flush();
        dataOut.close();
    }
}

どこで dataOut.write(int[], 0, end)

    public void write(int[] i, int start, int len) throws IOException {

    for (int ii = start; ii < start + len; ii += 1) {
        if (count + 4 > buf.length) {
            checkBuf(4);
        }

        buf[count++] = (byte) (i[ii] >>> 24);
        buf[count++] = (byte) (i[ii] >>> 16);
        buf[count++] = (byte) (i[ii] >>> 8);
        buf[count++] = (byte) (i[ii]);

    }

}

そして `protected void checkBuf(int need) throws IOException {

    if (count + need > buf.length) {
        out.write(buf, 0, count);
        count = 0;
    }
}`

BufferedDataOutputStream は BufferedOutputStream を拡張し、fits フレームワークに付属しています。単純に BufferedOutputStream と DataOutputStream を組み合わせて、大きな配列を書き込むときのメソッド呼び出しの数を減らします (これにより、はるかに高速になります... 最大 10 倍...)。

出力は次のとおりです。

ベンチマークの開始

スタートラン 0

2.001972271

スタートラン1

1.986544604

スタートラン2

15.663881232

スタートラン3

17.652161328

スタートラン 4

18.020969301

スタートラン 5

11.647542466

スタートラン 6

なぜこんなに時間が増えているのでしょうか？

ありがとうございました、

イース

4

2 に答える 2

4

このプログラムでは、1 GB を int 値として設定し、これらを強制的にディスクに書き込みます。

String dir = args[0];
for (int i = 0; i < 24; i++) {
  long start = System.nanoTime();
  File tmp = new File(dir, "deleteme." + i);
  tmp.deleteOnExit();
  RandomAccessFile raf = new RandomAccessFile(tmp, "rw");
  final MappedByteBuffer map = raf.getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1 << 30);
  IntBuffer array = map.order(ByteOrder.nativeOrder()).asIntBuffer();
  for (int n = 0; n < array.capacity(); n++)
    array.put(n, n);

  map.force();

  ((DirectBuffer) map).cleaner().clean();
  raf.close();
  long time = System.nanoTime() - start;
  System.out.printf("Took %.1f seconds to write 1 GB%n", time / 1e9);
}

各ファイルを強制的にディスクに保存すると、それぞれにほぼ同じ時間がかかります。

Took 7.7 seconds to write 1 GB
Took 7.5 seconds to write 1 GB
Took 7.7 seconds to write 1 GB
Took 7.9 seconds to write 1 GB
Took 7.6 seconds to write 1 GB
Took 7.7 seconds to write 1 GB

ただし、コメントアウトすると、map.force();このプロファイルが表示されます。

Took 0.8 seconds to write 1 GB
Took 1.0 seconds to write 1 GB
Took 4.9 seconds to write 1 GB
Took 7.2 seconds to write 1 GB
Took 7.0 seconds to write 1 GB
Took 7.2 seconds to write 1 GB
Took 7.2 seconds to write 1 GB

速度が低下する前に、メインメモリの約 10% である約 2.5 GB をバッファリングするようです。

以前の書き込みが完了するのを待つことで、キャッシュをクリアできます。

基本的に 1 GB のデータがあり、ディスクの持続書き込み速度は約 60 MB/s のように見えますが、これは SATA ハード ドライブとしては妥当な値です。これよりも高速な場合は、データが実際にはディスクに書き込まれておらず、実際にはメモリ内にあるためです。

これを高速化したい場合は、メモリ マップ ファイルを使用できます。これには、「配列」にデータを入力しているときにバックグラウンドでディスクに書き込むという利点があります。つまり、値の設定が完了するとすぐに書き込みを終了できます。

別のオプションは、より高速なドライブを入手することです。単一の 250 GB SSD ドライブは、約 200 MB/秒の書き込みを維持できます。RAID 構成で複数のドライブを使用すると、書き込み速度も向上します。

于 2011-09-13T16:53:24.953 に答える
0

The first writes may just be filling up your hard drive's cache without actually writing to disk yet.

于 2011-09-13T17:03:38.633 に答える