9

Java を使用して複数のファイルを Amazon S3 にアップロードしています。

私が使用しているコードは次のとおりです。

MultipartHttpServletRequest multipartRequest = (MultipartHttpServletRequest) request;
MultiValueMap < String,
MultipartFile > map = multipartRequest.getMultiFileMap();
try {
    if (map != null) {
        for (String filename: map.keySet()) {
            List < MultipartFile > fileList = map.get(filename);
            incrPercentge = 100 / fileList.size();
            request.getSession().setAttribute("incrPercentge", incrPercentge);
            for (MultipartFile mpf: fileList) {

                /*
         * custom input stream wrap to original input stream to get
         * the progress
         */
                ProgressInputStream inputStream = new ProgressInputStream("test", mpf.getInputStream(), mpf.getBytes().length);
                ObjectMetadata metadata = new ObjectMetadata();
                metadata.setContentType(mpf.getContentType());
                String key = Util.getLoginUserName() + "/" + mpf.getOriginalFilename();
                PutObjectRequest putObjectRequest = new PutObjectRequest(
                Constants.S3_BUCKET_NAME, key, inputStream, metadata).withStorageClass(StorageClass.ReducedRedundancy);
                PutObjectResult response = s3Client.putObject(putObjectRequest);

            }
        }
    }
} catch(Exception e) {
    e.printStackTrace();
}

Amazon S3 が消費するバイト数を取得するには、カスタム入力ストリームを作成する必要があります。ここでの質問からそのアイデアを得ました: Upload file or InputStream to S3 with progress callback

ProgressInputStreamのクラスコードは次のとおりです。

package com.spectralnetworks.net.util;
import java.io.IOException;
import java.io.InputStream;

import org.apache.commons.vfs.FileContent;
import org.apache.commons.vfs.FileSystemException;

public class ProgressInputStream extends InputStream {
    private final long size;
    private long progress,
    lastUpdate = 0;
    private final InputStream inputStream;
    private final String name;
    private boolean closed = false;

    public ProgressInputStream(String name, InputStream inputStream, long size) {
        this.size = size;
        this.inputStream = inputStream;
        this.name = name;
    }

    public ProgressInputStream(String name, FileContent content)
    throws FileSystemException {
        this.size = content.getSize();
        this.name = name;
        this.inputStream = content.getInputStream();
    }

    @Override
    public void close() throws IOException {
        super.close();
        if (closed) throw new IOException("already closed");
        closed = true;
    }

    @Override
    public int read() throws IOException {
        int count = inputStream.read();
        if (count > 0) progress += count;
        lastUpdate = maybeUpdateDisplay(name, progress, lastUpdate, size);
        return count;
    }@Override
    public int read(byte[] b, int off, int len) throws IOException {
        int count = inputStream.read(b, off, len);
        if (count > 0) progress += count;
        lastUpdate = maybeUpdateDisplay(name, progress, lastUpdate, size);
        return count;
    }

    /**
     * This is on reserach to show a progress bar
     * @param name
     * @param progress
     * @param lastUpdate
     * @param size
     * @return
     */
    static long maybeUpdateDisplay(String name, long progress, long lastUpdate, long size) {
        /* if (Config.isInUnitTests()) return lastUpdate;
        if (size < B_IN_MB/10) return lastUpdate;
        if (progress - lastUpdate > 1024 * 10) {
            lastUpdate = progress;
            int hashes = (int) (((double)progress / (double)size) * 40);
            if (hashes > 40) hashes = 40;
            String bar = StringUtils.repeat("#",
                    hashes);
            bar = StringUtils.rightPad(bar, 40);
            System.out.format("%s [%s] %.2fMB/%.2fMB\r",
                    name, bar, progress / B_IN_MB, size / B_IN_MB);
            System.out.flush();
        }*/
        System.out.println("name " + name + "  progress " + progress + " lastUpdate " + lastUpdate + " " + "sie " + size);
        return lastUpdate;
    }
}

しかし、これは正しく機能していません。次のように、ファイルサイズまですぐに印刷しています。

name test  progress 4096 lastUpdate 0 sie 30489
name test  progress 8192 lastUpdate 0 sie 30489
name test  progress 12288 lastUpdate 0 sie 30489
name test  progress 16384 lastUpdate 0 sie 30489
name test  progress 20480 lastUpdate 0 sie 30489
name test  progress 24576 lastUpdate 0 sie 30489
name test  progress 28672 lastUpdate 0 sie 30489
name test  progress 30489 lastUpdate 0 sie 30489
name test  progress 30489 lastUpdate 0 sie 30489

また、実際のアップロードにはさらに時間がかかります (行を印刷した後、10 回以上)。

正しいアップロード ステータスを取得するにはどうすればよいですか?

4

2 に答える 2

10

以下のコードを使用して、真の進行状況を取得する最良の方法である質問の回答を得ました

ObjectMetadata metadata = new ObjectMetadata();
metadata.setContentType(mpf.getContentType());

String key = Util.getLoginUserName() + "/"
        + mpf.getOriginalFilename();
metadata.setContentLength(mpf.getSize());
PutObjectRequest putObjectRequest = new PutObjectRequest(
                Constants.S3_BUCKET_NAME, key, mpf.getInputStream(),
                metadata)
        .withStorageClass(StorageClass.ReducedRedundancy);

putObjectRequest.setProgressListener(new ProgressListener() {
        @Override
        public void progressChanged(ProgressEvent progressEvent) {
            System.out.println(progressEvent
                    .getBytesTransfered()
                    + ">> Number of byte transfered "
                    + new Date());
            progressEvent.getBytesTransfered();
            double totalByteRead = request
                    .getSession().getAttribute(
                                                    Constants.TOTAL_BYTE_READ) != null ? (Double) request
                                            .getSession().getAttribute(Constants.TOTAL_BYTE_READ) : 0;

            totalByteRead += progressEvent.getBytesTransfered();
            request.getSession().setAttribute(Constants.TOTAL_BYTE_READ, totalByteRead);
            System.out.println("total Byte read "+ totalByteRead);

            request.getSession().setAttribute(Constants.TOTAL_PROGRESS, (totalByteRead/size)*100);
        System.out.println("percentage completed >>>"+ (totalByteRead/size)*100);   
        if (progressEvent.getEventCode() == ProgressEvent.COMPLETED_EVENT_CODE) {
            System.out.println("completed  ******");
        }
    }
});
s3Client.putObject(putObjectRequest);

以前のコードの問題は、メタデータでコンテンツの長さを設定していなかったため、実際の進行状況を取得できなかったことです。以下の行は、PutObjectRequest クラス API からのコピーです。

指定されたバケットとキーにデータのストリームをアップロードする新しい PutObjectRequest オブジェクトを構築します。リクエストを作成した後、ユーザーは必要に応じて、オブジェクト メタデータまたは既定の ACL も指定できます。

データ ストリームのコンテンツの長さは、オブジェクト メタデータ パラメーターで指定する必要があります。Amazon S3 では、データをアップロードする前に渡す必要があります。コンテンツの長さを指定しないと、コンテンツの長さを計算できるように、入力ストリームのコンテンツ全体がメモリ内でローカルにバッファリングされるため、パフォーマンスが低下する可能性があります。

于 2012-08-14T14:53:12.547 に答える
2

AWS SDK for Java を使用していると仮定します。

あなたのコードは正常に動作しています: read が呼び出され、毎回 4K が読み取られていることを示しています。あなたの考え (メッセージで更新) も正しいです。AWS SDK は、アップロードの進行状況をアプリケーションに通知する方法として ProgressListener を提供します。

「問題」は、AWS SDK の実装にあり、ファイルの最大 30K サイズ (64K であると仮定します) を超えてバッファリングしているため、進行状況レポートが得られません。

より大きなファイル (たとえば 1M) をアップロードしてみると、どちらの方法でもより良い結果が得られることがわかります。結局のところ、今日のネットワーク速度では、30K ファイルの進行状況を報告する価値さえありません。

より良い制御が必要な場合は、S3 REST インターフェイス(AWS Java SDK が最終的に使用するもの) を使用して自分でアップロードを実装できますが、それほど難しくはありませんが、少し手間がかかります。このルートに進みたい場合は、自分で行うのではなく、セッション認証トークンを計算するための例を見つけることをお勧めします(申し訳ありませんが、私の検索 foo は現在、実際のサンプル コードへのリンクに対して十分に強力ではありません)。高速ネットワークで最大のスループットを確保するために、実際にはソケット ストリームに 64K のバッファが必要であることがわかります (これがおそらく、AWS Java SDK がそのように動作する理由です)。

于 2012-08-13T02:54:37.340 に答える