1

こんにちは、すでに多くの質問が寄せられていることは承知していますが、これは多少異なります。何百万ものレコードを含む csv ファイルがあります。次のコマンドを試して、csv からテーブルにコピーしました。

copy "client_data" from '/home/mike/Desktop/client_data.txt' with delimiter ',' CSV;

しかし、csvのデータが一貫性のない状態であるため、問題が発生します。

以下の行はチャームを希望します

12/12/12 20:17:35,304000000,"123","1"
12/12/12 20:17:36,311000000,"123","2"
12/12/12 20:17:36,814000000,"123","2"
12/12/12 20:17:36,814000000,"123","2"
12/12/12 20:17:37,317000000,"123",".1"
12/12/12 20:17:38,863000000,"123","TS"
12/12/12 20:17:39,835000000,"123","2"
12/12/12 20:17:40,337000000,"123","1"

しかし、何百行もあるようなものです

12/12/12 20:20:03,790000000,"123","1
{'""}__{""'}        /""'\
(      $AMZA./)@FRIDI
{__}""'{__}     /)      (\. ,,DON,,"



12/12/12 20:20:30,501000000,"123","INAM NIKALTA NHE HE KITNE SAWALO K JAWB DAY 
 /G\A\,':/\,':/S\K,':\"


12/12/12 20:22:55,928000000,"123","PAKISTAN KI BUNYAAD 
2=QUAID-E-AZAM"
12/12/12 20:22:56,431000000,"123","QUIED E AZAM
MOHAMMAD ALI JINNAH
[KFK FEROZ]"

これらは改行、コンマ、無効な文字などのために解析できません。これらを解析してデータを postgres テーブルに効率的にロードする方法はありますか?

以下はテーブル構造です

create table "client_data" (

date_stamp text,
points bigint,
msisdn character varying(13),
data text
)
with (OIDS = false);
alter table "client_data" owner to postgres;
4

1 に答える 1

0

MySqlにはデータをインポートするためのより洗練された比較的簡単なインポートアプローチがあるため、MySqlインポートオプションを使用しました。

于 2013-11-09T12:18:17.973 に答える