問題タブ [ext4]

Ubuntu10.09およびext4fsでPostgresql9.0を実行しているローカルマシン上のデータベース内のすべてのテーブルを切り捨てる際に問題が発生します。

56個のテーブルで空のデータベースを切り捨てるには約7秒かかりますが、私の同僚全員のパフォーマンスは約1秒です。

1つのコマンドですべてのテーブルを切り捨てています。テーブルは外部キーで完全に覆われています。

誰かがこの問題を知っていますか？

ext4 ファイルシステムを使用した os.path.exists 関数の複雑さが Python でどのようなものか知っている人はいますか?

i ノード ポインタ構造など、これらのファイル システム間の本質的な違いを本当に知りたいです。

ありがとうございました

boost::filesystem::create_directories()新しいディレクトリを作成するために使用しています。作成直後にこれらのディレクトリにアクセスしようとすると、「そのようなディレクトリはありません」というエラーが表示されます。しかし、ディレクトリを作成した後にしばらくスリープすると、すべて問題ありません (エラーは発生しません)。また、ディレクトリを作成した後にfsync()andを使用してみましたが、違いはありませんでした。sync()ext4 および xfs ファイル システムでテストしており、ブースト バージョンはブースト 1.44 です。

私の質問は

1. boost::create_directories()ディレクトリを即座に作成しますか? それとも何かが間違っている可能性はありますか？
2. また、ext4/xfs ですべてをディスクにフラッシュすることがsync()保証fsync()されていますか?

ext4 のバックアップ ツールを探しています。このツールは、/var などの実行中の fs からコピーを取り、そのような fs を回復した後に衝突することはありません。私は、BSD ダンプに「-L」オプションがあり、スナップショットで作業するように指示していることを知っています。ただし、リポジトリからのダンプもダンプも、そのようなオプションはありません。スナップショット サポートを提供する ext4 用のパッチセットについて読みましたが、それについての回答は非常に異なっているため、このパッチを使用した経験についてお尋ねします。

rename(tmppath, path)最初に電話せずに電話しても安全fsync(tmppath_fd)ですか?

パスが常に完全なファイルを指すようにします。私は主にExt4を気にしています。rename() は、将来のすべての Linux カーネル バージョンで安全であると約束されていますか?

Python での使用例:

私は自宅でLinuxサーバーを実行しています。これは主にファイルおよび電子メールサーバーとデジタルビデオレコーダーです。すべてのデータは、ソフトウェアRAID-6のext4パーティションに送られます。

時々（1日に2回、月に2回）、サーバー全体がロックされます。時々私は理解できないsyslogにカーネルレポートを持っています：

pgsql がファイルシステムにテーブルごとに 1 つのファイルを格納し、すべてのクエリに対して pg_catalog を検索してクエリ プランニングを行う場合、良好なパフォーマンスを維持しながら単一の pgsql データベース内に配置できるテーブルの最大数はいくつですか?

EG: pgsql は単一のデータベース内で 100 万のテーブルを処理できますか? 使用されるファイル システムが ext4 であり、各テーブルに含まれるデータが非常に少ないと仮定すると、超過したディスク ストレージ サイズは問題になりません。この問題は、(1) ファイルシステムに 100 万個のファイルがあることの影響と、(2) pg_catalog に 100 万個のエントリがあることの影響から発生します。

このスレッド (2005) から、http://postgresql.1045698.n5.nabble.com/GENERAL-Maximum-number-of-tables-per-database-and-slowness-td1853836.html - 以下に述べられています (しかし、私はこれのどれだけが最近まだ適用されているかはわかりません）：

ベンジャミン・アライは次のように書いています。

データベースあたりのテーブルの現在の最大数はいくつですか? また、テーブルを増やすと何らかの形でパフォーマンスが低下しますか?

ほとんどの場合、答えはノーです。ただし、Figure テーブル数が 6 に近づくと、pg_catalog は非常に巨大になります。問題は、最適なプランを構築するために、クエリ プランナーがクエリごとに pg_catalog をチェックして、利用可能なインデックス、統計情報と値の分布などを確認する必要があることです。ある時点で、非常に大きな pg_catalog によってシステムが停止する可能性があります。

...

William Yu <[隠しメール]> は次のように書いています。

ベンジャミン・アライは次のように書いています。

データベースあたりのテーブルの現在の最大数はいくつですか? また、テーブルを増やすと何らかの形でパフォーマンスが低下しますか?

ほとんどの場合、答えはノーです。ただし、Figure テーブル数が 6 に近づくと、pg_catalog は非常に巨大になります。

また、データベース ディレクトリに何万ものファイルがある場合のパフォーマンスへの影響についても考慮する必要があります。一部の新しいファイルシステムは特にこれに悩まされていませんが、ディレクトリに数千を超えるエントリがある場合、多くのファイルシステムはルックアップで行き詰まります.

簡単なプログラムを作成し、そのプログラムを ext4 と xfs で実行しました。

ext4 の出力:

st_blocks: 8 st_blocks: 8 st_blocks: 8

xfs での出力:

st_blocks: 128 st_blocks: 128 st_blocks: 8

次に、xfs について調べたところ、mkfs.xfs の実行中にエクステント サイズを変更するオプションが見つかりました。

例: mkfs.xfs -r extsize=4096 /dev/sda1

それでも、XFS でも同じ出力が得られます。st_blocks を変更する方法について、誰でもより多くの洞察を提供できますか。前もって感謝します。

独自のデータベース ストアを作成したい場合、特に「新しい」SSD に照らして、断片化とファイルシステムのオーバーヘッドを回避するには、ファイルのサイズをどのくらいにする必要がありますか?

たとえば、多くの 64 KB のファイルは問題ないでしょうか? それとも、ファイル (inode) エントリを驚くべき速さで使い果たしているのでしょうか?

巨大なファイルを使用して、64k バイトの境界内でのみアクセスする方がよいでしょうか?

(私は例として 64 キロバイトを使用しています。おそらく 4 キロバイトが魔法のサイズですか?また、私がとりとめのないことを言っているのか、それとも私の主張を伝えているのか教えてください。)