1

みんな助けてくださいそれは重要です。

5 分以内に約 2000 枚の画像をダウンロードする必要があります。そこで、画像の並列ダウンロードを行うことにしました。

誰かが並列ダウンロードを行うためのより良い方法を提案してくれたり、どこが間違っているのか教えてくれたりしたら、本当に感謝しています。

エラーログでは、完了したタスクの数は常にさまざまです...

助けてください。

Artem Zinnatullin による Async task Executor を使用しています

public class AsyncTaskExecutor {

private static final int CORE_POOL_SIZE;
private static final int MAXIMUM_POOL_SIZE;
private static final int KEEP_ALIVE;
private static final TimeUnit TIME_UNIT;

private static final BlockingQueue<Runnable> concurrentPoolWorkQueue;
private static final ThreadFactory concurrentThreadFactory;
    private static final ThreadPoolExecutor concurrentExecutor;

private AsyncTaskExecutor() {}

static {
 CORE_POOL_SIZE = 5;
 MAXIMUM_POOL_SIZE = 128;
 KEEP_ALIVE = 1;
 TIME_UNIT = TimeUnit.SECONDS;

 concurrentPoolWorkQueue = new LinkedBlockingQueue<Runnable>(10);
 concurrentThreadFactory = new AsyncTaskThreadFactory();
 concurrentExecutor = new ThreadPoolExecutor(CORE_POOL_SIZE,MAXIMUM_POOL_SIZE, KEEP_ALIVE, TIME_UNIT, concurrentPoolWorkQueue, concurrentThreadFactory);
} 
/**
* Concurrently executes AsyncTask on any Android version
* @param task to execute
* @param params for task
* @return executing AsyncTask
*/
@SuppressLint("NewApi")
public static <Params, Progress, Result> AsyncTask<Params, Progress, Result>
 executeConcurrently(AsyncTask<Params, Progress, Result> task,
 Params... params) {
 if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.HONEYCOMB) {
 task.executeOnExecutor(concurrentExecutor, params);
 } else {
 task.execute(params);
 }
 return task;
}

    /**
* Thread factory for AsyncTaskExecutor
* @author Artem Zinnatullin
*
*/
private static class AsyncTaskThreadFactory implements ThreadFactory {
 private final AtomicInteger count;

 {
 count = new AtomicInteger(1);
 }

@Override
public Thread newThread(Runnable r) {
return new Thread(r, "AsyncTask #" + count.getAndIncrement());
}
}

}

次に、ループを使用してすべての画像をダウンロードしています。

for (PhotoToDBHelper photoToDBHelper : notDownloaded) {
            try {
                photoToDBHelper.download(m_context);
            } catch (Exception e) {
                // TODO: handle exception
            }

        }

ダウンロード方法は次のようになります。

public void download(Context context) throws Exception {
    HttpClient httpClient = new DefaultHttpClient();
    HttpGet httpGet = new HttpGet(new URL(getPhotosUrl() + m_fileName).toString());
    HttpResponse response = httpClient.execute(httpGet);
    HttpEntity entity = response.getEntity();

    InputStream inputStream = entity.getContent();
    filePath = Environment.getExternalStorageDirectory().toString() + getFoldeRelativePath() + m_fileName;

    Utils.createFileOnExternalStorage(getFoldeRelativePath(), filePath);
    FileOutputStream fos = new FileOutputStream(filePath, false);

    byte[] buffer = new byte[20000];
    int byteRead = 0;

    while ((byteRead = inputStream.read(buffer)) != -1) {
        fos.write(buffer, 0, byteRead);
    }
    fos.close();
}

Androidアプリケーションを起動すると、このエラーが発生します

02-25 01:08:30.133: E/AndroidRuntime(32357): FATAL EXCEPTION: main
02-25 01:08:30.133: E/AndroidRuntime(32357): java.lang.RuntimeException: Unable to start activity ComponentInfo{"package".TabHostActivity}: java.util.concurrent.RejectedExecutionException: Task android.os.AsyncTask$3@2c0809b0 rejected from java.util.concurrent.ThreadPoolExecutor@2be18f48[Running, pool size = 128, active threads = 1, queued tasks = 10, completed tasks = 27]
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1967)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:1992)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread.access$600(ActivityThread.java:127)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1158)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.os.Handler.dispatchMessage(Handler.java:99)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.os.Looper.loop(Looper.java:137)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread.main(ActivityThread.java:4441)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at java.lang.reflect.Method.invokeNative(Native Method)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at java.lang.reflect.Method.invoke(Method.java:511)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at com.android.internal.os.ZygoteInit$MethodAndArgsCaller.run(ZygoteInit.java:784)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:551)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at dalvik.system.NativeStart.main(Native Method)
02-25 01:08:30.133: E/AndroidRuntime(32357): Caused by: java.util.concurrent.RejectedExecutionException: Task android.os.AsyncTask$3@2c0809b0 rejected from java.util.concurrent.ThreadPoolExecutor@2be18f48[Running, pool size = 128, active threads = 1, queued tasks = 10, completed tasks = 1032]
02-25 01:08:30.133: E/AndroidRuntime(32357):    at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:1967)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:782)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1303)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.os.AsyncTask.executeOnExecutor(AsyncTask.java:564)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at "package".data.AsyncTaskExecutor.executeConcurrently(AsyncTaskExecutor.java:58)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at "package".TabHostActivity.checkUpdateState(TabHostActivity.java:130)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at "package".TabHostActivity.onCreate(TabHostActivity.java:88)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.Activity.performCreate(Activity.java:4465)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1049)
02-25 01:08:30.133: E/AndroidRuntime(32357):    at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:1931)
02-25 01:08:30.133: E/AndroidRuntime(32357):    ... 11 more
4

1 に答える 1

5

対処する必要があるいくつかの問題があります。

  1. 5 分間で 2000 枚の画像は、1 秒あたり約 7 枚の画像です。画像のサイズ、ネットワーク帯域幅、プロセッサとストレージの速度などによっては、コードや同時実行の量によっては実現できない場合があります。スループットの計算は次のようになります: 7 * N バイト/秒 (N は平均画像サイズ)。大きな画像がある場合はデッドポイントになる可能性があります。
  2. 例外は、スレッドプールがキューに入れられたタスクの最大数 (10) に達したことを示します。これは、thread-pool-manager の実装に基づいて構成できる場合があります。全体として、たとえば 2000 のスレッドを同時に開始しようとすると、この状態が悪化する可能性があります。タスク (スレッドを使用する) をグループでキューに入れ、その完了を監視してからさらに開始することをお勧めします。一度に 5 つの小さなグループに分けてください。
  3. サーバー コントロールがある場合は、複数の画像が 1 つの画像 (ファイル/リソース) に格納され、画像内の相対的な x/y 座標によって分類されるスプライト モデルの使用を検討してください。これにより、HTTP やその他のネットワーク リクエストの数が 2000 から 1 (おそらく) に最小限に抑えられ、パフォーマンスが大幅に向上します。
于 2013-02-25T01:12:34.210 に答える