java - FileChannel ByteBuffer とハッシュファイル

Question

の入力文字列表現を取りfilepath+filename、そのファイルのハッシュを計算するファイルハッシュメソッドをJavaで構築しました。MD2ハッシュは、スルーなど、ネイティブでサポートされている Java ハッシュアルゴリズムのいずれかにすることができますSHA-512。

この方法は、私が取り組んでいるプロジェクトの不可欠な部分であるため、パフォーマンスの最後の一滴まで探し出そうとしています。FileChannel通常のの代わりに使用するように勧められましたFileInputStream。

私の元の方法：

    /**
     * Gets Hash of file.
     * 
     * @param file String path + filename of file to get hash.
     * @param hashAlgo Hash algorithm to use. <br/>
     *     Supported algorithms are: <br/>
     *     MD2, MD5 <br/>
     *     SHA-1 <br/>
     *     SHA-256, SHA-384, SHA-512
     * @return String value of hash. (Variable length dependent on hash algorithm used)
     * @throws IOException If file is invalid.
     * @throws HashTypeException If no supported or valid hash algorithm was found.
     */
    public String getHash(String file, String hashAlgo) throws IOException, HashTypeException {
        StringBuffer hexString = null;
        try {
            MessageDigest md = MessageDigest.getInstance(validateHashType(hashAlgo));
            FileInputStream fis = new FileInputStream(file);

            byte[] dataBytes = new byte[1024];

            int nread = 0;
            while ((nread = fis.read(dataBytes)) != -1) {
                md.update(dataBytes, 0, nread);
            }
            fis.close();
            byte[] mdbytes = md.digest();

            hexString = new StringBuffer();
            for (int i = 0; i < mdbytes.length; i++) {
                hexString.append(Integer.toHexString((0xFF & mdbytes[i])));
            }

            return hexString.toString();

        } catch (NoSuchAlgorithmException | HashTypeException e) {
            throw new HashTypeException("Unsuppored Hash Algorithm.", e);
        }
    }

リファクタリングされた方法:

    /**
     * Gets Hash of file.
     * 
     * @param file String path + filename of file to get hash.
     * @param hashAlgo Hash algorithm to use. <br/>
     *     Supported algorithms are: <br/>
     *     MD2, MD5 <br/>
     *     SHA-1 <br/>
     *     SHA-256, SHA-384, SHA-512
     * @return String value of hash. (Variable length dependent on hash algorithm used)
     * @throws IOException If file is invalid.
     * @throws HashTypeException If no supported or valid hash algorithm was found.
     */
    public String getHash(String fileStr, String hashAlgo) throws IOException, HasherException {

        File file = new File(fileStr);

        MessageDigest md = null;
        FileInputStream fis = null;
        FileChannel fc = null;
        ByteBuffer bbf = null;
        StringBuilder hexString = null;

        try {
            md = MessageDigest.getInstance(hashAlgo);
            fis = new FileInputStream(file);
            fc = fis.getChannel();
            bbf = ByteBuffer.allocate(1024); // allocation in bytes

            int bytes;

            while ((bytes = fc.read(bbf)) != -1) {
                md.update(bbf.array(), 0, bytes);
            }

            fc.close();
            fis.close();

            byte[] mdbytes = md.digest();

            hexString = new StringBuilder();

            for (int i = 0; i < mdbytes.length; i++) {
                hexString.append(Integer.toHexString((0xFF & mdbytes[i])));
            }

            return hexString.toString();

        } catch (NoSuchAlgorithmException e) {
            throw new HasherException("Unsupported Hash Algorithm.", e);
        }
    }

どちらも正しいハッシュを返しますが、リファクタリングされたメソッドは小さなファイルでのみ連携するようです。大きなファイルを渡すと、完全に詰まってしまい、その理由がわかりません。初心者なNIOのでアドバイスお願いします。

編集：テストのためにSHA-512を投げていることを忘れていました。

UPDATE:私の現在の方法で更新します。

    /**
     * Gets Hash of file.
     * 
     * @param file String path + filename of file to get hash.
     * @param hashAlgo Hash algorithm to use. <br/>
     *     Supported algorithms are: <br/>
     *     MD2, MD5 <br/>
     *     SHA-1 <br/>
     *     SHA-256, SHA-384, SHA-512
     * @return String value of hash. (Variable length dependent on hash algorithm used)
     * @throws IOException If file is invalid.
     * @throws HashTypeException If no supported or valid hash algorithm was found.
     */
    public String getHash(String fileStr, String hashAlgo) throws IOException, HasherException {

        File file = new File(fileStr);

        MessageDigest md = null;
        FileInputStream fis = null;
        FileChannel fc = null;
        ByteBuffer bbf = null;
        StringBuilder hexString = null;

        try {
            md = MessageDigest.getInstance(hashAlgo);
            fis = new FileInputStream(file);
            fc = fis.getChannel();
            bbf = ByteBuffer.allocateDirect(8192); // allocation in bytes - 1024, 2048, 4096, 8192

            int b;

            b = fc.read(bbf);

            while ((b != -1) && (b != 0)) {
                bbf.flip();

                byte[] bytes = new byte[b];
                bbf.get(bytes);

                md.update(bytes, 0, b);

                bbf.clear();
                b = fc.read(bbf);
            }

            fis.close();

            byte[] mdbytes = md.digest();

            hexString = new StringBuilder();

            for (int i = 0; i < mdbytes.length; i++) {
                hexString.append(Integer.toHexString((0xFF & mdbytes[i])));
            }

            return hexString.toString();

        } catch (NoSuchAlgorithmException e) {
            throw new HasherException("Unsupported Hash Algorithm.", e);
        }
    }

そこで、元の例と最新の更新の例を使用して、2.92GB ファイルの MD5 をハッシュするベンチマークを試みました。もちろん、どのベンチマークも相対的なものです。なぜなら、OS とディスクのキャッシュや、同じファイルの繰り返し読み取りをゆがめるその他の「魔法」が行われているからです。各メソッドをロードして、新しくコンパイルした後、5回起動しました。ベンチマークは、前回 (5 回目) の実行から取得されました。これは、これがそのアルゴリズムの「最もホットな」実行であり、すべての「魔法」であるためです (とにかく私の理論では)。

Here's the benchmarks so far: 

    Original Method - 14.987909 (s) 
    Latest Method - 11.236802 (s)

これは25.03% decrease、同じ 2.92GB ファイルをハッシュするのにかかる時間です。かなり良い。

score 3 · Accepted Answer

3 つの提案:

1) 読み取りごとにバッファをクリアする

while (fc.read(bbf) != -1) {
    md.update(bbf.array(), 0, bytes);
    bbf.clear();
}

2) fc と fis の両方を閉じないでください。冗長です。fis を閉じるだけで十分です。FileInputStream.close API は次のように述べています。

If this stream has an associated channel then the channel is closed as well.

3) FileChannel を使用してパフォーマンスを向上させたい場合

ByteBuffer.allocateDirect(1024);

score 1 · Accepted Answer

コードが一時バッファーを一度だけ割り当てた場合、別の改善が見られる可能性があります。

例えば

        int bufsize = 8192;
        ByteBuffer buffer = ByteBuffer.allocateDirect(bufsize); 
        byte[] temp = new byte[bufsize];
        int b = channel.read(buffer);

        while (b > 0) {
            buffer.flip();

            buffer.get(temp, 0, b);
            md.update(temp, 0, b);
            buffer.clear();

            b = channel.read(buffer);
        }

補遺

注: 文字列構築コードにバグがあります。ゼロを 1 桁の数字として出力します。これは簡単に修正できます。例えば

hexString.append(mdbytes[i] == 0 ? "00" : Integer.toHexString((0xFF & mdbytes[i])));

また、実験として、マップされたバイトバッファーを使用するようにコードを書き直しました。約 30% 高速に実行されます (6 ～ 7 ミリ vs 9 ～ 11 ミリ FWIW)。バイトバッファーを直接操作するコードハッシュコードを記述した場合は、より多くの情報を得ることができると思います。

タイマーを開始する前に、各アルゴリズムで異なるファイルをハッシュすることにより、JVM の初期化とファイルシステムのキャッシュを説明しようとしました。コードの最初の実行は、通常の実行よりも約 25 倍遅くなります。これは、タイミングループ内のすべての実行がほぼ同じ長さであるため、JVM の初期化によるものと思われます。彼らはキャッシングの恩恵を受けていないようです。MD5 アルゴリズムでテストしました。また、タイミング部分では、テストプログラムの実行中に 1 つのアルゴリズムのみが実行されます。

ループ内のコードが短くなるため、より理解しやすくなる可能性があります。大容量で多くのファイルをマッピングするメモリマッピングが JVM にどのような圧力をかけるかは 100% 確実ではありません。これは負荷がかかっています。

public static byte[] hash(File file, String hashAlgo) throws IOException {

    FileInputStream inputStream = null;

    try {
        MessageDigest md = MessageDigest.getInstance(hashAlgo);
        inputStream = new FileInputStream(file);
        FileChannel channel = inputStream.getChannel();

        long length = file.length();
        if(length > Integer.MAX_VALUE) {
            // you could make this work with some care,
            // but this code does not bother.
            throw new IOException("File "+file.getAbsolutePath()+" is too large.");
        }

        ByteBuffer buffer = channel.map(MapMode.READ_ONLY, 0, length);

        int bufsize = 1024 * 8;          
        byte[] temp = new byte[bufsize];
        int bytesRead = 0;

        while (bytesRead < length) {
            int numBytes = (int)length - bytesRead >= bufsize ? 
                                         bufsize : 
                                         (int)length - bytesRead;
            buffer.get(temp, 0, numBytes);
            md.update(temp, 0, numBytes);
            bytesRead += numBytes;
        }

        byte[] mdbytes = md.digest();
        return mdbytes;

    } catch (NoSuchAlgorithmException e) {
        throw new IllegalArgumentException("Unsupported Hash Algorithm.", e);
    }
    finally {
        if(inputStream != null) {
            inputStream.close();
        }
    }
}

score -1 · Accepted Answer

NIO を使用したファイルハッシュの例を次に示します。

道
ファイルチャネル
MappedByteBuffer

また、byte[] の使用を避けます。したがって、これは上記の改良版であるべきだと思います。そして、ハッシュ値がユーザー属性に格納される2番目のnioの例。これは、HTML etag の生成に使用でき、他のサンプルではファイルが変更されません。

    public static final byte[] getFileHash(final File src, final String hashAlgo) throws IOException, NoSuchAlgorithmException {
    final int         BUFFER = 32 * 1024;
    final Path        file = src.toPath();
    try(final FileChannel fc   = FileChannel.open(file)) {
        final long        size = fc.size();
        final MessageDigest hash = MessageDigest.getInstance(hashAlgo);
        long position = 0;
        while(position < size) {
            final MappedByteBuffer data = fc.map(FileChannel.MapMode.READ_ONLY, 0, Math.min(size, BUFFER));
            if(!data.isLoaded()) data.load();
            System.out.println("POS:"+position);
            hash.update(data);
            position += data.limit();
            if(position >= size) break;
        }
        return hash.digest();
    }
}

public static final byte[] getCachedFileHash(final File src, final String hashAlgo) throws NoSuchAlgorithmException, FileNotFoundException, IOException{
    final Path path = src.toPath();
    if(!Files.isReadable(path)) return null;
    final UserDefinedFileAttributeView view = Files.getFileAttributeView(path, UserDefinedFileAttributeView.class);
    final String name = "user.hash."+hashAlgo;
    final ByteBuffer bb = ByteBuffer.allocate(64);
    try { view.read(name, bb); return ((ByteBuffer)bb.flip()).array();
    } catch(final NoSuchFileException t) { // Not yet calculated
    } catch(final Throwable t) { t.printStackTrace(); }
    System.out.println("Hash not found calculation");
    final byte[] hash = getFileHash(src, hashAlgo);
    view.write(name, ByteBuffer.wrap(hash));
    return hash;
}

java - FileChannel ByteBuffer とハッシュ ファイル

3 に答える 3

Related

Reference

java - FileChannel ByteBuffer とハッシュファイル