私はLinuxのsplitコマンドに精通しています。100行の長さのファイルがある場合、
split -l 5 myfile.txt
... myfile.txtを20個のファイルに分割します。各ファイルは5行で、ファイルに書き込みます。
私の質問は、これを列ごとに実行したいということです。タブで区切られた100列のファイルがある場合、このファイルを20個の小さなファイルに分割し、それぞれに5列とすべての行を含める同様のコマンドはありますか？
私はcutの使い方を知っていますが、perlなどでcutをラップせずにこれを実現できる、聞いたことのない単純なUNIXコマンドがあることを望んでいます。
前もって感謝します。
#!/bin/bash
(($# == 2)) || { echo -e "\nUsage: $0 <file to split> <# columns in each split>\n\n"; exit; }
infile="$1"
inc=$2
ncol=$(awk 'NR==1{print NF}' "$infile")
((inc < ncol)) || { echo -e "\nSplit size >= number of columns\n\n"; exit; }
for((i=0, start=1, end=$inc; i < ncol/inc + 1; i++, start+=inc, end+=inc)); do
cut -f$start-$end "$infile" > "${infile}.$i"
done
私の場合、固定8列のQAD（Quick＆Dirty）ソリューションのみが必要な場合。分離されたcsv
#!/bin/bash
# delimiter is ;
cut -d';' -f1 "$1" > "${1}.1"
cut -d';' -f2 "$1" > "${1}.2"
cut -d';' -f3 "$1" > "${1}.3"
cut -d';' -f4 "$1" > "${1}.4"
cut -d';' -f5 "$1" > "${1}.5"
cut -d';' -f6 "$1" > "${1}.6"
cut -d';' -f7 "$1" > "${1}.7"
cut -d';' -f8 "$1" > "${1}.8"
助けてくれてありがとう。split に似た unix コマンドがあることを望んでいましたが、SiegeX の提案により、cut コマンドを perl でラップすることになりました。
#!/usr/bin/perl
chomp(my $pwd = `pwd`);
my $help = "\nUsage: $0 <file to split> <# columns in each split>\n\n";
die $help if @ARGV!=2;
$infile = $ARGV[0];
chomp($ncol = `head -n 1 $infile | wc -w`);
$start=1;
$inc = $ARGV[1];
$end = $start+$inc-1;
die "\nSplit size >= number of columns\n\n" if $inc>=$ncol;
for($i=1 ; $i<$ncol/$inc +1 ; $i++) {
if ($end>$ncol) {$end=$ncol;}
`cut -f $start-$end $infile > $infile.$i`;
$start += $inc;
$end += $inc;
}
# do something smarter with output files (& clear on start)
XIFS="${IFS}"
IFS=$'\t'
while read -a LINE; do
for (( i=0; i< ${#LINE[@]}; i++ )); do
echo "${LINE[$i]}" >> /tmp/outfile${i}
done
done < infile
IFS="${XIFS}"
上記を試してください...ファイル名「infile」を使用して
IFSの保存と復元に注意してください（誰かがより良いアイデアを持っていますか?サブシェル?)
また、2回目に実行している場合は、これが追加されることに注意してください-以前の実行の出力を削除したいでしょう...
ここに私の解決策があります：
まず、入力ジェネレーター:
1 #!/usr/bin/env ruby
2 #
3 def usage(e)
4 puts "Usage #{__FILE__} <n_rows> <n_cols>"
5 exit e
6 end
7
8 usage 1 unless ARGV.size == 2
9
10 rows, cols = ARGV.map{|e| e.to_i}
11 (1..rows).each do |l|
12 (1..cols).each {|c| printf "%s ", c }
13 puts ""
14 end
分割ツール:
1 #!/usr/bin/env ruby
2 #
3
4 def usage(e)
5 puts "Usage #{__FILE__} <column_start> <column_end>"
6 exit e
7 end
8
9 usage 1 unless ARGV.size == 2
10
11 c_start, c_end = ARGV.map{|e| e.to_i}
12 i = 0
13 buffer = []
14 $stdin.each_line do |l|
15 i += 1
16 buffer << l.split[c_start..c_end].join(" ")
17 $stderr.printf "\r%d", i if i % 100000 == 0
18 end
19 $stderr.puts ""
20 buffer.each {|l| puts l}
分割ツールは、処理中の行数の値を stderr にダンプすることに注意してください。これにより、処理速度を把握できます。
また、セパレーターはスペースであると想定しています。
実行方法の例:
$ time ./gen.data.rb 1000 10 | ./split.rb 0 4 > ./out
それぞれ 10 列の 1000 行を生成し、最初の 5 列を分割します。time(1) を使用して実行時間を測定します。
少しワンライナーを使用して、リクエストされた分割を（順次）行うことができます。単一ノードで並行して処理したり (bash ビルド コマンドの待機を確認)、クラスターに送信したりするのは非常に簡単です。
$ ruby -e '(0..103).each {|i| puts "cat input.txt | ./split.rb #{i-4} #{i} > out.#{i/4}" if i % 4 == 0 && i > 0}' | /bin/bash
基本的に生成するもの:
cat input.txt | ./split.rb 0 4 > out.1
cat input.txt | ./split.rb 4 8 > out.2
cat input.txt | ./split.rb 8 12 > out.3
cat input.txt | ./split.rb 12 16 > out.4
cat input.txt | ./split.rb 16 20 > out.5
cat input.txt | ./split.rb 20 24 > out.6
cat input.txt | ./split.rb 24 28 > out.7
cat input.txt | ./split.rb 28 32 > out.8
cat input.txt | ./split.rb 32 36 > out.9
cat input.txt | ./split.rb 36 40 > out.10
cat input.txt | ./split.rb 40 44 > out.11
cat input.txt | ./split.rb 44 48 > out.12
cat input.txt | ./split.rb 48 52 > out.13
cat input.txt | ./split.rb 52 56 > out.14
cat input.txt | ./split.rb 56 60 > out.15
cat input.txt | ./split.rb 60 64 > out.16
cat input.txt | ./split.rb 64 68 > out.17
cat input.txt | ./split.rb 68 72 > out.18
cat input.txt | ./split.rb 72 76 > out.19
cat input.txt | ./split.rb 76 80 > out.20
cat input.txt | ./split.rb 80 84 > out.21
cat input.txt | ./split.rb 84 88 > out.22
cat input.txt | ./split.rb 88 92 > out.23
cat input.txt | ./split.rb 92 96 > out.24
cat input.txt | ./split.rb 96 100 > out.25
そして、バッシュにパイプされます。
並行して計算するプロセス (またはジョブ) の数には注意してください。これは、ストレージがあふれてしまうためです (独立したストレージ ボリュームがない場合)。
それが役立つことを願っています。実行速度を教えてください。
-drd
ファイルを列ごとに分割するようなものは直接ありません。ただし、これには簡単な方法で AWK を使用できます。
次の列input_fileを含む出力ファイルの分割NUMBER
awk 'BEGIN{FS="\t"; m=NUMBER }
{ for(i=1;i<=NF;++i) {
s = (i%m==1 ? $i : s FS $i);
if (i%m==0 || i==NF) {print s > (sprintf("out.%0.5d",int(i/m)+(i%m!=0)))}
}}' input_file
出力ファイルinput_fileの次の分割CHUNKS
awk 'BEGIN{FS="\t"; n=CHUNKS}
(NR==1){ m=int(NF/n)+(NF%n==0) }
{ for(i=1;i<=NF;++i) {
s = (i%m==1 ? $i : s FS $i);
if (i%m==0 || i==NF) {print s > (sprintf("out.%0.5d",int(i/m)+(i%m!=0)))}
}}' input_file