0

「FPAT」または同等の gawk 関数「patsplit」を使用する必要があります。しかし、CentOs サーバーにインストールされている gawk のバージョンは 3.1.5 のようです。

これらのコマンドでgawkを更新しようとしました：

yum update gawk;

そして、サーバーは次のことを示しました：「更新用にマークされたパッケージはありません」

また、次の方法でgawkを再インストールしようとしました：

 yum install gawk;

サーバー出力: 「パッケージ gawk-3.1.5-15.el5.x86_64 は既にインストールされており、最新バージョンです」

これらのFPATまたはpatsplitを使用するには、gawk 4.0以上が必要です。そして、なぜそれらを使用する必要があるのですか? CSV ファイルを処理しようとしていますが、CSV ファイルにはオプションの引用符とカンマが埋め込まれているようです。

例：

次のような csv 行から:

this,is,a,"csv,with,embedded coma"

次のようにフィールドを分割する必要があります。

this

is

a

"csv,with,embedded comma"

そして、ここにgawkコードがあります：

awk '{patsplit("this,is,a,\"csv,with,embedded comma\"",a,"([^,]*)|(\"([^\"]|\"\")+\"[^,]*)",seps); for(i=0;i<length(a);i++) print a[i];}';

誰でもこれについて私を助けてくれますか?

4

5 に答える 5

2

awk がデータを解釈しやすいように、パイプラインで csvquote を使用してみてください。これは、引用符で囲まれたフィールド内のコンマを非印刷文字に置き換えてから復元するスクリプトです。

したがって、 awk コマンドが元々次のようになっているとします。

awk -F, '{print $3 "," $5}' inputfile.csv

... 次のように、csv の引用区切り文字を使用して動作させることができます。

csvquote inputfile.csv | awk -F, '{print $3 "," $5}' | csvquote -u

コードとその他のドキュメントについては、https://github.com/dbro/csvquoteを参照してください。

于 2013-05-04T23:31:39.900 に答える
1

match() を使用してフィールドを取得できると思います。

コードは次のとおりです。

awk '{ $0=$0","                                   
while($0) {
  match($0,/ *"[^"]*" *,|[^,]*,/) 
  field=substr($0,RSTART,RLENGTH)            
  gsub(/,$/,"",field)   
  print field
  $0=substr($0,RLENGTH+1)              
}}' file

入力例でテストします。

kent$  echo 'this,is,a,"csv,with,embedded coma"'|awk '{
$0=$0","                                   
while($0) {
  match($0,/ *"[^"]*" *,|[^,]*,/) 
  field=substr($0,RSTART,RLENGTH)            
  gsub(/,$/,"",field)   
  print field
  $0=substr($0,RLENGTH+1)              
}}'
this
is
a
"csv,with,embedded coma"
于 2013-01-02T14:13:49.230 に答える
1

最も簡単な方法は、実際の処理を行う前に、引用符の外側のコンマを別のものに変換することです。例えば：

$ cat file
this,is,a,"csv,with,embedded coma",and,here,"is,another",one
and,here,"is,another,line"
$
$ awk 'BEGIN{FS=OFS="\""}{for (i=1;i<=NF;i+=2) gsub(/,/,";",$i)}1' file
this;is;a;"csv,with,embedded coma";and;here;"is,another";one
and;here;"is,another,line"

「;」をフィールド区切り記号として使用したくない場合は、制御文字などを選択するか、FS として改行を使用し、RS として空白行を使用する例を次に示します。

$ awk 'BEGIN{FS=OFS="\""; ORS="\n\n"}{for (i=1;i<=NF;i+=2) gsub(/,/,"\n",$i)}1' file
this
is
a
"csv,with,embedded coma"
and
here
"is,another"
one

and
here
"is,another,line"

$ awk 'BEGIN{FS=OFS="\""; ORS="\n\n"}{for (i=1;i<=NF;i+=2) gsub(/,/,"\n",$i)}1' file |
awk -F'\n' -v RS= '{for (i=1;i<=NF;i++) print NR,i,"<" $i ">"}'
1 1 <this>
1 2 <is>
1 3 <a>
1 4 <"csv,with,embedded coma">
1 5 <and>
1 6 <here>
1 7 <"is,another">
1 8 <one>
2 1 <and>
2 2 <here>
2 3 <"is,another,line">

改行を埋め込んだり、エスケープされた二重引用符を埋め込んだりした場合にのみ、注意が必要です。

于 2013-01-02T20:44:36.303 に答える
0

dnf と呼ばれる yum にアクセスできる場合は、以下を参照してください。

https://en.wikipedia.org/wiki/DNF_(ソフトウェア)

その後、通常のユーザーとして実行できます

git clone https://git.savannah.gnu.org/git/gawk.git
cd gawk
./configure
make
sudo make install

次に、tmp.txt入力ファイルの質問

this,is,a,"csv,with,embedded coma"

によって簡単に変換されます

gawk '{patsplit("this,is,a,\"csv,with,embedded comma\"",a,"([^,]*)|(\"([^\"]|\"\")+\"[^,]*)",seps); for(i=0;i<length(a);i++) print a[i];}' tmp.txt

gawk のコンパイルに問題がある可能性があります。ポップアップが表示された場合は対処する必要があります。

于 2019-11-12T19:35:00.733 に答える
0

純粋な GAWK ソリューションは次のとおりです。

{ # Split on double quotes to handle lines like "this, this, or this".
    printf("LINE:    '%s'\nFIELDS:", $0)
    n = split($0,q,/"/)
    f = 0
}

n == 1 { # If n is 1, there are no double quotes on the line.
    n = split($0,c,/,/)
    for (i = 1; i <= n; i++) {
        printf("  %d='%s'", i, c[i])
    }
    printf("\n")
    next
}

{ # There are "strings"; the EVEN entries in q are the quoted strings.
    for (i = 1; i <= n; i++) {
        if (0 == and(i,1)) { # i is EVEN: This is a double-quoted string.
            printf("  %d='\"%s\"'", ++f, q[i])
            continue
        }
        if (0 == length(q[i])) { # First/last field is a quoted string.
            continue
        }
        if (q[i] == ",") {
            # First/last field empty, or comma between two quoted strings.
            if (i == 1 || i == n) { # First/last field empty
                printf("  %d=''", ++f)
            }
            continue
        }
        # Remove commas before/after a quoted string then split on commas.
        sub(/^,/,"",q[i])
        sub(/,$/,"",q[i])
        m = split(q[i],cq,/,/)
        for (j = 1; j <= m; j++) {
            printf("  %d='%s'", ++f, cq[j])
        }
    }
    printf("\n")
}

この入力で：

This is one,23,$9.32,Another string.
Line 2,234,$88.34,Blah blah
"This is another",763,$0.00,"trouble, or not?"
"This is, perhaps, trouble too...",763,$0.00,"trouble, or not?"
2,"This is, perhaps, trouble too...",763,"trouble, or not?"
3,,"number, number","well?"
,,,
"1,one","2,two","3,three","4,four"
",commas,","no commas",",,,,,",
,"Fields 1 and 4 are empty","But 2 and 3 are not",

次の出力が生成されます。

LINE:    'This is one,23,$9.32,Another string.'
FIELDS:  1='This is one'  2='23'  3='$9.32'  4='Another string.'
LINE:    'Line 2,234,$88.34,Blah blah'
FIELDS:  1='Line 2'  2='234'  3='$88.34'  4='Blah blah'
LINE:    '"This is another",763,$0.00,"trouble, or not?"'
FIELDS:  1='"This is another"'  2='763'  3='$0.00'  4='"trouble, or not?"'
LINE:    '"This is, perhaps, trouble too...",763,$0.00,"trouble, or not?"'
FIELDS:  1='"This is, perhaps, trouble too..."'  2='763'  3='$0.00'  4='"trouble, or not?"'
LINE:    '2,"This is, perhaps, trouble too...",763,"trouble, or not?"'
FIELDS:  1='2'  2='"This is, perhaps, trouble too..."'  3='763'  4='"trouble, or not?"'
LINE:    '3,,"number, number","well?"'
FIELDS:  1='3'  2=''  3='"number, number"'  4='"well?"'
LINE:    ',,,'
FIELDS:  1=''  2=''  3=''  4=''
LINE:    '"1,one","2,two","3,three","4,four"'
FIELDS:  1='"1,one"'  2='"2,two"'  3='"3,three"'  4='"4,four"'
LINE:    '",commas,","no commas",",,,,,",'
FIELDS:  1='",commas,"'  2='"no commas"'  3='",,,,,"'  4=''
LINE:    ',"Fields 1 and 4 are empty","But 2 and 3 are not",'
FIELDS:  1=''  2='"Fields 1 and 4 are empty"'  3='"But 2 and 3 are not"'  4=''
于 2014-10-20T13:33:18.347 に答える