1

Dropbox が Amazon S3 を使用してファイルをバックアップしていることは誰もが知っており、15 分ごとに 100 万個のファイルが Dropbox によって処理されていると言われています。その場合、Amazon S3 の読み取りと書き込みは膨大になるはずです。

S3がその多くのファイル記述子をどのように処理できるかについての手がかりを持っている人はいますか..? S3 の背後に別のファイル システムはありますか? つまり、S3 がすべてのファイルごとに新しいファイル記述子を作成するかどうか..? または、ファイルを開き、1 GB などのサイズに達するまで多くのファイルを書き込みます。

4

1 に答える 1

0

(免責事項: 私は実際に S3 の実装の詳細を知りません):

あなたは2つの間違った仮定をしているようです:

  1. すべてのドロップボックス「ファイル」== 1 つの OS「ファイル」。
  2. すべてのファイルが 1 台のマシンで読み書きされています。

各 DropBox ファイルが 1 つの OS ファイルにマップされる可能性がありますが、ファイルを最大サイズが固定された複数の小さなファイルに分割するGoogle ファイル システムのようなことを行う可能性もあります。

第 2 に、これらのファイルはすべて 1 台のマシンに保存されるのではなく、多数の異なるマシンに保存されます。したがって、特定のマシンで開いているファイル記述子はそれほど多くありません。

第 3 に、任意の時点で開くファイル記述子のデフォルトの最大数は、ulimit (コマンドラインから) またはsetrlimit (C コードから) によって引き上げることができることを忘れているかもしれません。使用可能な記述子を最大化するために、制限が標準のデフォルトを超えて引き上げられたとしても、私は驚かないでしょう。

于 2012-12-24T10:24:11.310 に答える