問題タブ [postgresql-copy]

.txt ファイルを PostgreSQL にインポートしようとしています。txt ファイルには 6 つの列があります。

そして213行。

このコマンドを使用して、このファイルの内容を PostgreSQL で\copy呼び出されるテーブルに入れるために使用しようとしています。doe2

それは私にこのエラーを与えます:

このエラーが発生したときに何をすべきかを調べましたが、何も役に立ちませんでした。他の誰かがこれに遭遇しましたか？

Postgres DB を実行しておりCOPY、Ruby でコマンドを使用して一時テーブルにデータをロードしています。

次のようになります。

追加された行の総数を含む INFO ログ メッセージがあります。Ruby内からプログラムでこの番号を取得するにはどうすればよいですか?

が入力されるテーブルを作成していますCOPY。そのデータの形式は次のとおりです。

CREATE TABLEステートメントのフォーマットとして何を使用しますか?

1 つの代替方法としてvarchar()、後でフォーマットする方法があります。複雑なようです。

次のテーブルがあります

次のようなサンプルデータで

したがって、以下のような形式のテキスト ファイルCOPYにコンテンツを含める必要があります。usr_addr_part_15

Windows XP では、pgAdmin III.

製品 ID を外部キーとして持つ行の postgresql テーブルをフィルタリングしようとしています。製品 ID ごとに、それぞれ 1 つの csv をフォルダー (prod1.csv、prod2.csv など) にエクスポートする必要があります。これを自動化するために以下の関数を作成しようとしましたが、関数を実行すると失敗します。関数を修正したり、より良いアプローチを推奨したりするのを手伝ってくれる人はいますか?

都市の csv リストを Django アプリにインポートしています。私は Django と Python にかなり慣れていませんが、インポートはかなり速く実行されます。最初の 25,000 行には約 5 分かかり、次の 25,000 行には 2 時間かかります。インポートを停止し、中断したところから再開しました。次の 25,000 には約 4 分かかりました。挿入するたびに速度が低下しているように見えるので、明らかに間違っています。

どんな助けでも素晴らしいでしょう、私は主にデータをインポートするのではなく、学ぶためにこれをやっています.現在、postgresqlに直接インポートする方が速いので、プロジェクトを続けることができますが、私は何をしているのか知りたいです.間違っているので、Django / Pythonのいずれかを改善できます。

ティア

更新:
コードを一括挿入を使用するように変更しました。最初の都市のグループは 2 分強になり、2 番目のロットは 10 分になりました。3 番目のグループは数時間経っても終了していません。なんらかのガベージ コレクション プロセスか、私が見逃しているものがあるに違いありません。ファイルを入れ替えても、各ファイルが最初に実行されるときは同じ時間がかかります。

新しいコードは次のようになります。

テーブルのデータを csv 形式のファイルにエクスポートしようとしています。

しかし、私は得ました

エラー: ファイルへのコピーに相対パスは使用できません

どうすれば修正できますか？

私は次のコードを使用しています：

しかし、次のエラーが表示されます。