一部の入力CSVファイルの最後の4列をbashを使用して削除する方法はありますか?最後の4列には、行ごとに長さが異なるフィールドを含めることができるため、各行の終わりから特定の数の文字を削除するだけでは不十分です。
8 に答える
Cutは、すべての行に同じ数のフィールドがある場合はこれを実行でき、そうでない場合はawkを実行できます。
cut -d, -f1-6 # assuming 10 fields
出力区切り文字を制御する場合は、最初の6つのフィールドを出力します。-output-delimiter=stringを使用します。
awk -F , -v OFS=, '{ for (i=1;i<=NF-4;i++){ printf $i, }; printf "\n"}'
フィールド数-4までのフィールドをループし、それらを出力します。
cat data.csv | rev | cut -d, -f-5 | rev
rev
行を逆にするため、すべての行の列数が同じであるかどうかは関係ありません。常に最後の4列が削除されます。これは、最後の4列にコンマが含まれていない場合にのみ機能します。
cut
列の数がわかっている場合は、これに使用できます。たとえば、ファイルに9つの列があり、カンマが区切り文字である場合:
cut -d',' -f -5
ただし、これは、csvファイルのデータにコンマが含まれていないことを前提としています。 cut
引用符内のコンマも区切り文字として解釈されます。
awk -F, '{NF-=4; OFS=","; print}' file.csv
または代わりに
awk -F, -vOFS=, '{NF-=4;print}' file.csv
各行の最後の4列を削除します。
これはあなたのために働くかもしれません(GNU sed):
sed -r 's/(,[^,]*){4}$//' file
awkワンライナー:
awk -F, '{for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)}' file.csv
awk over cutを使用する利点は、列の数と保持する列の数を数える必要がないことです。必要なのは最後の4列を削除することです。
テストを参照してください:
kent$ seq 40|xargs -n10|sed 's/ /, /g'
1, 2, 3, 4, 5, 6, 7, 8, 9, 10
11, 12, 13, 14, 15, 16, 17, 18, 19, 20
21, 22, 23, 24, 25, 26, 27, 28, 29, 30
31, 32, 33, 34, 35, 36, 37, 38, 39, 40
kent$ seq 40|xargs -n10|sed 's/ /, /g' |awk -F, '{for(i=0;++i<=NF-5;)printf $i", ";print $(NF-4)}'
1, 2, 3, 4, 5, 6
11, 12, 13, 14, 15, 16
21, 22, 23, 24, 25, 26
31, 32, 33, 34, 35, 36
ハッキングされた方法でのこのawkソリューション
awk -F, 'OFS=","{for(i=NF; i>=NF-4; --i) {$i=""}}{gsub(",,,,,","",$0);print $0}' temp.txt
<comma>文字を含む引用符で囲まれたフィールドを持つCVSファイルがある場合、上記の方法はいずれも正しく機能しません。したがって、<comma>文字をフィールド区切り文字として使用するのは少し難しいです。
次の2つの投稿が非常に便利になりました。
- awkを使用してCSVを効率的に解析するための最も堅牢な方法は何ですか?
- [U&L] Linuxでファイルの最後の列を削除する方法(注:これはGNU awk専用です)
GNU awkを使用しているため、次の2つのいずれかを実行できます。
$ awk -v FPAT='[^,]*|"[^"]+"' -v OFS="," 'NF{NF-=4}1'
または、任意のawkを使用して、次のことができます。
$ awk 'BEGIN{ere="([^,]*|\042[^\042]+\042)"
ere=","ere","ere","ere","ere"$"
}
{sub(ere,"")}1'