問題タブ [postgresql-copy]

私はpostgresqlデータベースのプロファイリングを任されています。最初の要件は、理論上の制限を見つけるために、考えられるすべての外部ボトルネックを取り除いて、レコードを追加できる速度を確認することです。

まず、サンプルデータを使ってcsvファイルを作成し、COPY機能で読み込みました。これで、すべてのレコードが関数を介して追加されますupdate_or_add()。COPYを一緒に使用することは可能update_or_add()ですか、それとも私が検討していないより良い解決策がありますか？

大きなpostgres8.1テーブルから2、3行を使用してエクスポートしようとしています

しかし、私は得る

何がうまくいかない可能性があるアイデアはありますか？ちなみに、私はデータベースのスーパーユーザーではありませんが、別の種類のエラーが発生したと思います。コピーを使用する以外に、SQLからいくつかの行を（コーディングせずに簡単に挿入できる形式で）ダンプする他のアイデアがある場合は、提案を受け入れます。

COPYPostgreSQLのコマンドに関する質問がありました。一部の列の値のみを PostgreSQL テーブルにコピーしたい CSV ファイルがあります。

これを行うことは可能ですか？コマンドを使用して CSV からすべてのデータをテーブルにコピーし、ヘッダーを使用して列名にマップすることに慣れてCOPYいますが、一部の列のみが必要な場合、これはどのように可能ですか?

csv データをテーブルにロードする関数を作成しようとしています。入力引数をファイルへのパスにしたい。

この関数を作成しようとすると、

$1 の構文エラー

どうしたの？

CSV ファイルを Postgres テーブルにコピーしたいと考えています。この表には約 100 列あるので、必要がなければ書き直したくありません。

コマンドを使用して\copy table from 'table.csv' delimiter ',' csv;いますが、テーブルを作成せずにERROR: relation "table" does not exist. 空のテーブルを追加してもエラーは発生しませんが、何も起こりません。このコマンドを 2、3 回試しましたが、出力もメッセージもありませんでしたが、PGAdmin で確認したところ、テーブルは更新されていませんでした。

私がやろうとしているように、ヘッダーが含まれているテーブルをインポートする方法はありますか?

これを使用して、Postgres 9.2 で作成したテーブルにデータを読み込みます。

データ型はreal、integerおよびdateです。

次のエラーが表示されます。

を使用する前FORCE_NOT_NULLはNULL'' でしたが、データ型が異なるため変更しました。

誰かが何が起こっているのか説明できますか?

みなさん、
こんにちは。さまざまな検索を行いましたが、以下の単純な問題に対する適切で適切な答えを見つけることができませんでした:
pgAdminIII (Windows 7 64 ビット) で、SQL エディターを使用して次のコマンドを実行しています。

パス名のさまざまなバリエーションを試し、パスを確認しましたが、次のようになります。

エラー: ファイル "D:\my\path\to\Raw CSV Data\13_01_2012.csv" を読み取り用に開けませんでした: そのようなファイルまたはディレクトリはありません

なぜこれが起こるのか？
よろしくお願いします
ペトロス

アップデート！！

いくつかのテストの後、次の結論に達しました。このエラーが発生する理由は、パスにギリシャ文字が含まれているためです。そのため、Windows はコードページ 1253 を使用していますが、コンソールは 727 を使用しており、このすべてが混乱を引き起こしています。それで、いくつかの質問が発生します。よろしければそれらにお答えいただくか、他の質問を促していただけますか?
1) コンソールのコードページを永久に変更するにはどうすればよいですか?
2) SQL エディターのコードページを定義するにはどうすればよいですか? 質問を投稿する場所が不適切であった場合は申し訳ありません。

COPYPostgresコマンドを実行しようとしています。

問題は、これを使用するデータベースがリモートであり、ファイル「file.csv」がローカル マシンにあることC:\です。その結果、ファイルは読み取られません。
リモート データベースですが、ローカル ファイルです。どうすればこれを機能させることができますか?

COPYcsv ファイルを postgres にインポートしていますが、コマンドの使用中に正しいデータ型をインポートする方法を知りたいです。たとえば、列があり、csv ファイルからcolumn_1 integer;値を挿入したいとします。6

コマンドを実行するcopy "Table" from 'path/to/csv' DELIMITERS ',' CSV;と、これを実行しようとするたびにエラーが発生しますERROR: invalid input syntax for integer: "column_1"。csvファイルからすべてのデータを文字列またはテキストとして自動的にインポートしているためだとわかりました。列のタイプを変更するtextと正常に機能しますが、さまざまな計算に必要なため、数値を使用する目的が無効になります。転送時にデータ型を保持する方法はありますか? csv ファイルで変更する必要があるものはありますか? または、割り当てる別のデータ型がありcolumn_1ますか? これが理にかなっていることを願っています。前もって感謝します！

一部のソース データ ソースから Postgres データベースにデータをロードする必要があります。このタスクを実行するには、まずデータを一時 CSV ファイルに書き込み、次に COPY FROM クエリを使用して CSV ファイルから Postgres データベースにデータを読み込みます。これはすべて Python で行います。

コードは次のようになります。

中間ファイルへの書き込みのステップを避けたい。代わりに、Python オブジェクトに書き込み、COPY FROM ファイル メソッドを使用してデータを postgres データベースにロードしたいと考えています。

StringIO オブジェクトから postgres データベースにデータをコピーする psycopg2 の copy_from メソッドを使用するこの手法を認識しています。ただし、ある理由で psycopg2 を使用できないため、COPY FROM タスクをライブラリに依存させたくありません。他のpostgresドライバーでも実行できるPostgresクエリにしたい。

中間ファイルに書き込まずにこれを行うより良い方法を教えてください。