4

私はまったく新しい Perl 初心者で、初めての Perl スクリプトについて助けを求めています

30〜50GBの巨大なファイルがいくつかあり、それらは次のように構成されています-数百万の列と数千の行:

A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10 
A B C D E 1 2 3 4 5 6 7 8 9 10

列「A」、列「C」、次に数値列の3分の1、つまり「3」列と「6」列、次に「9」列をファイルの最後まで削除したいと思います。スペース区切り。

私の試みは次のようなものです:

#!/usr/local/bin/perl

use strict;
use warnings;

    my @dataColumns;
    my $dataColumnCount;
    if(scalar(@ARGV) != 2){
        print "\nNo files supplied, please supply file name\n";
        exit;
    }

    my $Infile = $ARGV[0];
    my $Outfile = $ARGV[1];

    open(INFO,$Infile) || die "Could not open $Infile for reading";
    open(OUT,">$Outfile") || die "Could not open $Outfile for writing";

    while (<INFO>) {
        chop;
        @dataColumns = split(" ");
        $dataColumnCount = @dataColumns + 1;
#Now remove the first element of the list
        shift(@dataColumns);

#Now remove the third element (Note that it is now the second - after removal of the first)
        splice(@dataColumns,1,1); # remove the third element (now the second)

#Now remove the 6th (originally the 8th) and every third one thereafter
#NB There are now $dataColumnCount-1 columns

        for (my $i = 5; $i < $dataColumnCount-1; $i = $i + 3 ) {
            splice($dataColumns; $i; 1);
        }

#Now join the remaining elements of the list back into a single string
        my $AmendedLine = join(" ",@dataColumns);

#Finally print out the line into your new file
        print OUT "$AmendedLine/n";
}

しかし、いくつかの奇妙なエラーが発生しています。

  1. for ループで $1 が気に入らないと言っています。「my」を追加したため、エラーが解消されたようですが、他の for コードには「my」が含まれているようには見えないので、何が原因かわかりません。進んでいます。

グローバル シンボル "$i" には、Convertversion2.pl 行 36 で明示的なパッケージ名が必要です。 グローバル シンボル "$i" には、Convertversion2.pl 行 36 で明示的なパッケージ名が必要です。 . グローバル シンボル "$i" には、Convertversion2.pl 行 36 で明示的なパッケージ名が必要です。

  1. もう 1 つのエラーは次のとおりです。「@dataColumns;」付近の Convertversion2.pl 行 37 の構文エラーです。Convertversion2.pl 行 37、「1)」付近の構文エラー

このエラーを修正する方法がわかりません。ほぼ完了したと思いますが、構文エラーの正確な内容がわからず、修正方法もわかりません。

前もって感謝します。

4

3 に答える 3

3

この質問についてブログを書いた後、コメント投稿者から、私のテスト ケースの実行時間を 45% 短縮できると指摘されました。私は彼のコードを少し言い換えました:

my @keep;
while (<>) {
    my @data = split;

    unless (@keep) {
        @keep = (0, 1, 0, 1, 1);
        for (my $i = 5; $i < @data; $i += 3) {
            push @keep, 1, 1, 0;
        }
    }

    my $i = 0;
    print join(' ', grep $keep[$i++], @data), "\n";
}

これは、元のソリューションにかかった時間のほぼ半分で実行されます。

$ time ./zz.pl input.data > /dev/null
実質 0 分 21.861 秒
ユーザー 0m21.310s
システム 0m0.280s

現在、Inline::Cをやや汚れた方法で使用することにより、さらに 45% のパフォーマンスを得ることができます。

#!/usr/bin/env perl

use strict;
use warnings;

use Inline C => <<'END_C'

/*
  This code 'works' only in a limited set of circumstances!
  Don't expect anything good if you feed it anything other
  than plain ASCII 
*/

#include <ctype.h>

SV *
extract_fields(char *line, AV *wanted_fields)
{
    int ch;
    IV current_field = 0;
    IV wanted_field = -1;

    unsigned char *cursor = line;
    unsigned char *field_begin = line;
    unsigned char *save_field_begin;

    STRLEN field_len = 0;
    IV i_wanted = 0;
    IV n_wanted = av_len(wanted_fields);

    AV *ret = newAV();
    while (i_wanted <= n_wanted) {
        SV **p_wanted = av_fetch(wanted_fields, i_wanted, 0);
        if (!(*p_wanted)) {
            croak("av_fetch returned NULL pointer");
        }
        wanted_field = SvIV(*p_wanted);

        while ((ch = *(cursor++))) {

            if (!isspace(ch)) {
                continue;
            }

            field_len = cursor - field_begin - 1;
            save_field_begin = field_begin;
            field_begin = cursor;

            current_field += 1;
            if (current_field != wanted_field) {
                continue;
            }

            av_push(ret, newSVpvn(save_field_begin, field_len));
            break;
        }
        i_wanted += 1;
    }
    return newRV_noinc((SV *) ret);
}

END_C
;

そして、ここにPerlの部分があります。split保持するフィールドのインデックスを計算するのは 1 回だけであることに注意してください。それらがわかったら、行と (1 から始まる) インデックスを C ルーチンに渡してスライス アンド ダイスします。

my @keep;
while (my $line = <>) {
    unless (@keep) {
        @keep = (2, 4, 5);
        my @data = split ' ', $line;
        push @keep, grep +(($_ - 5) % 3), 6 .. scalar(@data);
    }
    my $fields = extract_fields($line, \@keep);
    print join(' ', @$fields), "\n";
}
$ time ./ww.pl input.data > /dev/null
実質 0 分 11.539 秒
ユーザー 0m11.083s
システム 0m0.300s

input.data以下を使用して生成されました:

$ perl -E 'say join(" ", "A" .. "ZZZZ") for 1 .. 100' > input.data

サイズは約225MBです。

于 2013-08-23T00:19:58.610 に答える
2

あなたが示すコードは、これらのエラーを生成しません。そこにはまったく何もありませ$1ん。意図し$iた場合、その変数の使用は問題ありません。唯一の構文エラーは、splice($dataColumns; $i; 1)コンマの代わりにセミコロンがあり、$dataColumns代わりに@dataColumns.

それとは別に

  • 変数は、プログラムの先頭ではなく、使用するポイントのできるだけ近くで宣言することをお勧めします。

  • 通常、パッケージ名などの定数には大文字が使用されます。変数には小文字、数字、およびアンダースコアを使用する必要があります。

  • の要素数よりも 1 つ多く$dataColumnCount設定していることに気付いていますか?@dataColumns

  • 最近では、グローバル ファイル ハンドルを使用することが嫌われています。代わりに、レキシカル変数を使用する必要があります。

このプログラムのリファクタリングをお勧めします。autodie呼び出しの成功を確認する必要がないようにするために使用しopenます。最初のレコードが読み取られた後、各行のフィールド数が判明したら、できるだけ早く削除する必要がある配列インデックスのリストを作成します。次に、前の要素が削除されるときにインデックスで算術演算を行う必要がないように、それらを末尾から後方に削除します。

#!/usr/local/bin/perl

use strict;
use warnings;
use autodie;

if (@ARGV != 2) {
  die "\nNo files supplied, please supply file names\n";
}

my ($infile, $outfile) = @ARGV;
open my $info, '<', $infile;
open my $out,  '>', $outfile;

my @remove;

while (<$info>) {

  my @data = split;

  unless (@remove) {
    @remove = (0, 2);
    for (my $i = 7; $i < @data; $i += 3) {
      push @remove, $i;
    }
  }

  splice @data, $_, 1 for reverse @remove;

  print $out join(' ', @data), "\n";
}
于 2013-08-23T00:13:04.033 に答える
0

上記の他の回答は完全に機能し、私の場合はおそらく利点はありませんが、これは回避しながら同じことを達成する別の方法ですsplit:

#!/usr/local/bin/perl
use strict;
use warnings;
use feature 'say';

my $dir='D:\\';
open my $fh,"<", "$dir\\test.txt" or die;

while (<$fh>) {
    chomp;
    my @fields = split ' ';
    print "$fields[0] $fields[2] ";
    for (my $i=7; $i <= $#fields; $i += 3){
        print "$fields[$i] ";
    }
    print "\n";
}
close $fh;

これが役に立たない場合はお知らせください。

于 2014-04-04T07:46:26.543 に答える