postgresql - 新しい CitusDB インスタンスにデータをロードする最速の方法は何ですか?

Question

次のコマンドを使用して、データ取り込みのスケールアウトに関する指示に従っています。

find . -type f | xargs -n 1 -P 320 sh -c 'echo $0 `copy_to_distributed_table -C $0 table_name`'

私のクラスターにはマスターと 8 つのワーカーがあり、それぞれに 2 つの SSD があります。テーブルは 320 個のシャードにまたがっています。

データの読み込みに非常に時間がかかっています。平均挿入率は1分あたり約750kのようです。それは正常ですか、それとも高速化する方法はありますか?

考えられる唯一のことは、レプリケーションが有効になっていることです。ロードのためにオフにしてからリセットする必要がありますか？

Answer 1

ハッシュパーティショニングを使用したいと思います。その場合は、copy_to_distributed_table分散型を優先して非推奨にしますCOPY。COPYネイティブの PostgreSQL エクスペリエンスを提供し、いくつかの既知の問題を解決し、取り込みパフォーマンスを 1 桁以上向上させます。これは、今月リリースされたCitus 5.1 で利用可能になり、公式の PostgreSQL Linux パッケージ リポジトリ(PGDG) で利用できます。