問題タブ [dask-delayed]

質問する

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

243 問題
Newest
Active
Bountied
318
Unanswered
0 投票する
0 に答える
385 参照

python - dask で画像のバッチを生成する

dask優れた並列処理能力を提供するため、始めたばかりです。40000ディスク上に、いくつかの DL ライブラリを使用して分類子を構築するために使用する画像がいくつかKerasありTFます。このメタ情報 (画像パスと対応するラベル) を pandas データフレームに収集しました。これは次のようになります。

これが私の簡単なタスクです。dask を使用して、画像と対応するラベルをあるlazy方法で読み取ります。画像に対していくつかの処理を行いbatch size、32 の a で分類子にバッチを渡します。

  1. 読み取りと前処理のための関数を定義します。

    /li>

  2. 遅延 Dask 配列を取得します。

    /li>

ここに私の質問があります：

Q1. この配列からbatchデータを取得するにはどうすればよいですか? batch_size=32これは現在、遅延ジェネレーターと同等ですか? そうでない場合、そのように動作させることはできますか?

Q2. chunksizeより良いバッチ生成のために効果的なものを選択するには? たとえば、4コアがあり、画像のサイズが である場合(224,224,3)、バッチ処理を効率的にするにはどうすればよいですか?


12345678910