多数の小さなファイル (たとえば、10,000 ファイル) を生成するプログラムがあります。それらが作成された後、別のスクリプトがそれらにアクセスし、1 つずつ処理します。
質問:
- パフォーマンスの観点から、ファイルの編成方法 (すべて 1 つのディレクトリまたは複数のディレクトリ) は重要ですか?
- もしそうなら、ディレクトリごとのディレクトリとファイルの最適な数はいくつですか?
Debian をext4ファイル システムで実行しています
関連している
多数の小さなファイル (たとえば、10,000 ファイル) を生成するプログラムがあります。それらが作成された後、別のスクリプトがそれらにアクセスし、1 つずつ処理します。
質問:
Debian をext4ファイル システムで実行しています
関連している
Ext4 では、1 つのフォルダー内に 10k のファイルがあっても問題ありません。dir_index
デフォルトでオプションが有効になっている必要があります。これは、パフォーマンスの問題を防ぐために、btree のような構造を使用してディレクトリ コンテンツにインデックスを付けます。
要約すると、何百万ものファイルを作成したり、ext2/ext3 を使用したりしない限り、システムまたは FS のパフォーマンスの問題について心配する必要はありません。
そうは言っても、シェル ツールとコマンドは、多くのファイルをパラメータとして呼び出されることを好みません (rm *
たとえば)。「引数が多すぎます」などのエラー メッセージが返される場合があります。次に何が起こるかについては、この回答を見てください。