4

ファイルのハッシュをできるだけ早く取得しようとしています。私は、ランダムなファイル サイズ (ファイルあたり数 KB から 5 GB + まで) で構成される大きなデータ セット (100 GB +) を、少数のファイルから数十万ファイルまでの間でハッシュするプログラムを持っています。

プログラムは、Java がサポートするすべてのアルゴリズム (MD2、MD5、SHA-1、SHA-256、SHA-384、SHA-512) をサポートする必要があります。

現在私は使用しています：

/**
 * Gets Hash of file.
 * 
 * @param file String path + filename of file to get hash.
 * @param hashAlgo Hash algorithm to use. <br/>
 *     Supported algorithms are: <br/>
 *     MD2, MD5 <br/>
 *     SHA-1 <br/>
 *     SHA-256, SHA-384, SHA-512
 * @return String value of hash. (Variable length dependent on hash algorithm used)
 * @throws IOException If file is invalid.
 * @throws HashTypeException If no supported or valid hash algorithm was found.
 */
public String getHash(String file, String hashAlgo) throws IOException, HashTypeException {
    StringBuffer hexString = null;
    try {
        MessageDigest md = MessageDigest.getInstance(validateHashType(hashAlgo));
        FileInputStream fis = new FileInputStream(file);

        byte[] dataBytes = new byte[1024];

        int nread = 0;
        while ((nread = fis.read(dataBytes)) != -1) {
            md.update(dataBytes, 0, nread);
        }
        fis.close();
        byte[] mdbytes = md.digest();

        hexString = new StringBuffer();
        for (int i = 0; i < mdbytes.length; i++) {
            hexString.append(Integer.toHexString((0xFF & mdbytes[i])));
        }

        return hexString.toString();

    } catch (NoSuchAlgorithmException | HashTypeException e) {
        throw new HashTypeException("Unsuppored Hash Algorithm.", e);
    }
}

ファイルハッシュを取得するためのより最適化された方法はありますか? 私は極端なパフォーマンスを探していますが、これが最善の方法であるかどうかはわかりません.

4

2 に答える 2

5

多くの潜在的なパフォーマンスの改善が見られます。1 つは;StringBuilderの代わりに使用することです。StringBufferソース互換性がありますが、同期されていないためパフォーマンスが向上します。2 つ目 (はるかに重要) は、代わりに API を使用することFileChannelですjava.nio。FileInputStream少なくとも、I/O を最適化するためにFileInputStreamを aでラップします。BufferedInputStream

于 2013-04-10T17:49:41.627 に答える
1

Ernest の回答に加えて:- MessageDigest.getInstance(validateHashType(hashAlgo)) これは、validateHashType(hashAlgo) をキーとしてスレッド ローカル ハッシュマップにキャッシュできると思います。MessageDigest の作成には時間がかかりますが、Map からインスタンスを取得した後、最初に reset() メソッドを呼び出すことで再利用できます。

java.lang.ThreadLocal の javadoc を参照してください。

于 2013-05-20T21:30:44.240 に答える