問題タブ [citus]

次のコマンドを使用して、データ取り込みのスケールアウトに関する指示に従っています。

私のクラスターにはマスターと 8 つのワーカーがあり、それぞれに 2 つの SSD があります。テーブルは 320 個のシャードにまたがっています。

データの読み込みに非常に時間がかかっています。平均挿入率は1分あたり約750kのようです。それは正常ですか、それとも高速化する方法はありますか?

考えられる唯一のことは、レプリケーションが有効になっていることです。ロードのためにオフにしてからリセットする必要がありますか？

CitusDBで caravel を使用していますが、データベース ノードへの接続で問題が発生しています。率直に言って、私は何をすべきか見当もつきません。

公式のインストール手順に従ってインストールして実行しました。

psqlスクリプトを使用して実行中のマスターにログインできますが/opt/citusdb/4.0/bin、アプリケーションから接続できません。Flask-SQLAlchemy は postgresql 方言とドライバーをサポートしており、実行中のサーバーは 5432 ポート上にあるようです。で試していpsycopg2ます。

postgresqlマスターノードの起動を妨げていたため、サービスをオフにしました。

これはエラーです：

MySQL から Citus クラスターへの移行中に、range分散方式を使用しました。移行は完了しましたが、配布方法を に変更したいと思いhashます。

データが既に存在する既存のテーブルの分散方法を から に変更する方法はありrangeますか?hash

次の手順を思いつきましたが、それが有効かどうかはわかりません。

1. 変更されるすべてのシャードについて、テーブルの列minvalueとmaxvalue列を更新しますpg_dist_shard
2. pg_dist_partitionテーブルのシャード ストレージ タイプ列をからrに更新しますh
3. COMMIT;

Citus 5.0 で分散結合のパフォーマンス テストを試みています。マスター ノードと 2 つのワーカー ノードがあり、デフォルトの構成で期待どおりに動作するいくつかのハッシュ分散テーブルがあります。再パーティション化が必要なクエリをテストするには、タスク トラッカー エグゼキュータを使用する必要があります。

ただし、 に設定citus.task_executor_typeするとtask-tracker、分散テーブルを含むすべてのクエリが失敗します。例えば：

に設定citus.task_executor_typeしpostgresql.confても同じ効果があります。

タスク エグゼキューターを切り替えるために必要な、他に欠けている構成変更はありますか?

編集、詳細：

• PostGIS はすべてのノードにインストールされています
• postgres_fdw がマスターにインストールされている
• 他のすべての構成は元のままです

これまでのすべてのテーブルは次のように分散されていました。

のスキーマdistrib_mcuser_carはかなり大きいので、より単純な例を次に示します。

このドキュメントには、範囲分割されたデータをターゲット シャードに挿入するための準備方法が適切に説明されています。正確なハッシュ関数を知っていれば、ハッシュ分散テーブルに挿入するデータを同様に準備できます。

そのような関数はhereで示唆されていますが、ソースで期待した場所に見つけることができませんでした。

Citus は、シャード プルーニング中に使用するハッシュ関数をどこで決定しますか?

Citus は、データ変更コマンドのマルチステートメント トランザクションをサポートしていないため、LOCKデータ移行中の同時アクセスを防止するためにコマンドを使用することはできません。

初期データ移行中にテーブルへのアクセスをロックする方法はありますか?