膨大な数の画像を生成するプロジェクトがあります。(1 000 000 申し訳ありませんが、エラーが発生しました) アルゴリズムを使用してすべての画像を処理する必要があります。このプロジェクトのアーキテクチャについてアドバイスしてもらえますか?
これは、コンピューター ビジョンの分野における独自のアルゴリズムです。
画像の平均サイズは 20 kB 近くです。アップロード時に処理する必要があり、要求に応じて 1 ～ 2 回処理する必要があります。平均して、1 日 1 回、100 万枚の画像を取得します。それぞれの画像は、1 日に 1 ～ 2 回アルゴリズムをナビゲートする必要があります。
はい、ほとんどの場合、イメージはローカル ディスクに保存されます
画像を処理すると、新しい画像が生成されます。
現在のビュー:
ほとんどの場合、上記の手順を実行する必要があるサーバーごとにいくつかのサーバー (私は所有していません) があります。サーバー間のインターネット帯域幅は非常に薄い (約 1 Mb\s) ですが、私にとっては、サーバー間のメッセージの交換 (ニューラル ネットワークの係数の更新) とアルゴリズムの更新が必要です。
現在のハードウェア (インテル ファミリー 6 モデル 26) では、50,000 個のイメージの完全な手順を完了するのに約 10 分かかります。
多分
私が持っているサーバーにこの画像をアップロードできるように、広い内部チャネルはどこにありますか。