多く (5 億 - 9 億) の小さな (2kB - 9kB) ファイルを保存しようとしています。
ほとんどの汎用ファイルシステムは、膨大な数のファイルを処理できないか、多くのファイルで速度が低下するか、ブロックサイズが非常に大きいため、これには適していないようです。
これは一般的な問題のようですが、私が見つけたすべての解決策は、小さなファイルを inode に保存するときに、それ自体とほぼ同じサイズのストレージ効率への打撃を受け入れるだけのようです。
したがって
何億もの小さなファイルを処理するように特別に設計されたファイルシステムはありますか?
また
小さなファイルをオンザフライでアーカイブし、1 つの大きなファイルをディスクに書き込むための運用レベルのソリューションはありますか?