4

次の正規表現が csv 文字列を行ごとに分割できる場合。

var lines = csv.split(/\r|\r?\n/g);

CSV 値 (つまり、引用符/二重引用符の間) に含まれる改行文字をスキップするために、これをどのように適応させることができますか?

例：

2,"Evans & Sutherland","230-132-111AA",,"Visual","P
CB",,1,"Offsite",

表示されない場合は、改行が表示されたバージョンを次に示します。

2,"Evans & Sutherland","230-132-111AA",,"Visual","P\r\nCB",,1,"Offsite",\r\n

スキップしようとしている部分は、「PCB」エントリの途中に含まれる改行です。

アップデート：

これについてはおそらく前に述べたはずですが、これはjquery-csvと呼ばれる専用の CSV 解析ライブラリの一部です。より良いコンテキストを提供するために、現在のパーサーの実装を以下に追加しました。

エントリ (つまり 1 行) を検証および解析するためのコードは次のとおりです。

$.csvEntry2Array = function(csv, meta) {
  var meta = (meta !== undefined ? meta : {});
  var separator = 'separator' in meta ? meta.separator : $.csvDefaults.separator;
  var delimiter = 'delimiter' in meta ? meta.delimiter : $.csvDefaults.delimiter;

  // build the CSV validator regex
  var reValid = /^\s*(?:D[^D\\]*(?:\\[\S\s][^D\\]*)*D|[^SD\s\\]*(?:\s+[^SD\s\\]+)*)\s*(?:S\s*(?:D[^D\\]*(?:\\[\S\s][^D\\]*)*D|[^SD\s\\]*(?:\s+[^SD\s\\]+)*)\s*)*$/;
  reValid = RegExp(reValid.source.replace(/S/g, separator));
  reValid = RegExp(reValid.source.replace(/D/g, delimiter));

  // build the CSV line parser regex
  var reValue = /(?!\s*$)\s*(?:D([^D\\]*(?:\\[\S\s][^D\\]*)*)D|([^SD\s\\]*(?:\s+[^SD\s\\]+)*))\s*(?:S|$)/g;
  reValue = RegExp(reValue.source.replace(/S/g, separator), 'g');
  reValue = RegExp(reValue.source.replace(/D/g, delimiter), 'g');

  // Return NULL if input string is not well formed CSV string.
  if (!reValid.test(csv)) {
    return null;
  }

  // "Walk" the string using replace with callback.
  var output = [];
  csv.replace(reValue, function(m0, m1, m2) {
    // Remove backslash from any delimiters in the value
    if (m1 !== undefined) {
      var reDelimiterUnescape = /\\D/g;              
      reDelimiterUnescape = RegExp(reDelimiterUnescape.source.replace(/D/, delimiter), 'g');
      output.push(m1.replace(reDelimiterUnescape, delimiter));
    } else if (m2 !== undefined) { 
      output.push(m2);
    }
    return '';
  });

  // Handle special case of empty last value.
  var reEmptyLast = /S\s*$/;
  reEmptyLast = RegExp(reEmptyLast.source.replace(/S/, separator));
  if (reEmptyLast.test(csv)) {
    output.push('');
  }

  return output;
};

注: まだテストしていませんが、おそらく最後の一致をメインの分割/コールバックに組み込むことができると思います。

これは、行ごとの分割部分を行うコードです。

$.csv2Array = function(csv, meta) {
  var meta = (meta !== undefined ? meta : {});
  var separator = 'separator' in meta ? meta.separator : $.csvDefaults.separator;
  var delimiter = 'delimiter' in meta ? meta.delimiter : $.csvDefaults.delimiter;
  var skip = 'skip' in meta ? meta.skip : $.csvDefaults.skip;

  // process by line
  var lines = csv.split(/\r\n|\r|\n/g);
  var output = [];
  for(var i in lines) {
    if(i < skip) {
      continue;
    }
    // process each value
    var line = $.csvEntry2Array(lines[i], {
      delimiter: delimiter,
      separator: separator
    });
    output.push(line);
  }

  return output;
};

そのregesがどのように機能するかの内訳については、この回答をご覧ください。私のはわずかに適応したバージョンです。一重引用符と二重引用符の一致を統合して、1 つのテキスト区切り記号のみに一致するようにし、区切り記号/区切り記号を動的にしました。これはエントリを検証する素晴らしい仕事をしますが、上に追加した行分割ソリューションは非常に脆弱であり、上記で説明したエッジ ケースで機能しなくなります。

文字列をたどって有効なエントリを抽出する (エントリ パーサーに渡す) か、解析に失敗した行を示すエラーを返す不良データで失敗するソリューションを探しています。

アップデート：

splitLines: function(csv, delimiter) {
  var state = 0;
  var value = "";
  var line = "";
  var lines = [];
  function endOfRow() {
    lines.push(value);
    value = "";
    state = 0;
  };
  csv.replace(/(\"|,|\n|\r|[^\",\r\n]+)/gm, function (m0){
    switch (state) {
      // the start of an entry
      case 0:
        if (m0 === "\"") {
          state = 1;
        } else if (m0 === "\n") {
          endOfRow();
        } else if (/^\r$/.test(m0)) {
          // carriage returns are ignored
        } else {
          value += m0;
          state = 3;
        }
        break;
      // delimited input  
      case 1:
        if (m0 === "\"") {
          state = 2;
        } else {
          value += m0;
          state = 1;
        }
        break;
      // delimiter found in delimited input
      case 2:
        // is the delimiter escaped?
        if (m0 === "\"" && value.substr(value.length - 1) === "\"") {
          value += m0;
          state = 1;
        } else if (m0 === ",") {
          value += m0;
          state = 0;
        } else if (m0 === "\n") {
          endOfRow();
        } else if (m0 === "\r") {
          // Ignore
        } else {
          throw new Error("Illegal state");
        }
        break;
      // un-delimited input
      case 3:
        if (m0 === ",") {
          value += m0;
          state = 0;
        } else if (m0 === "\"") {
          throw new Error("Unquoted delimiter found");
        } else if (m0 === "\n") {
          endOfRow();
        } else if (m0 === "\r") {
          // Ignore
        } else {
          throw new Error("Illegal data");
        }
          break;
      default:
        throw new Error("Unknown state");
    }
    return "";
  });
  if (state != 0) {
    endOfRow();
  }
  return lines;
}

必要なのは、ライン スプリッターの 4 つの状態だけです。

  • 0: エントリの開始
  • 1：以下引用
  • 2: 2 番目の引用符が検出されました
  • 3: 以下は引用されていません

ほぼ完全なパーサーです。私のユース ケースでは、CSV データを処理するためのより細かいアプローチを提供できるように、ライン スプリッターが必要でした。

注: このアプローチの功績は、彼の許可なしに公に名前を挙げない別の開発者に与えられます。私がしたことは、それを完全なパーサーからラインスプリッターに適合させることだけでした。

アップデート：

以前の lineSplitter 実装でいくつかの壊れたエッジ ケースを発見しました。提供されるものは、 RFC 4180に完全に準拠している必要があります。

4

3 に答える 3

2

コメントで指摘したように、単一の正規表現を使用するだけでは完全な解決策はありません。

コンマで分割し、埋め込まれたコンマで文字列を結合することにより、いくつかの正規表現を使用する新しい方法がここで説明されています: -

個人的には、ここで説明されているように、単純な有限状態マシンを使用します

ステート マシンにはより多くのコードがありますが、コードはよりクリーンで、コードの各部分が何をしているかが明確です。長期的には、これははるかに信頼性が高く、保守しやすいものになります。

于 2012-05-02T04:49:15.350 に答える
1

正規表現を使用して解析することはお勧めできません。それを使用して「悪い」分割を検出し、それらをマージして戻すことをお勧めします。

var lines = csv.split(/\r?\n/g);
var bad = [];

for(var i=lines.length-1; i> 0; i--) {
    // find all the unescaped quotes on the line:
    var m = lines[i].match(/[^\\]?\"/g);

    // if there are an odd number of them, this line, and the line after it is bad:
    if((m ? m.length : 0) % 2 == 1) { bad.push(i--); }
}

// starting at the bottom of the list, merge lines back, using \r\n
for(var b=0,len=bad.length; b < len; b++) {
    lines.splice(bad[b]-1, 2, lines[bad[b]-1]+"\r\n"+lines[bad[b]]);
}

(この回答は、CC0 と WTFPL の両方でライセンスされています。)

于 2012-05-02T05:08:38.340 に答える
0

注意してください-その改行はその値の一部です。ではありませPCBんP\nCB。

ただし、なぜ使用できないのですstring.split(',')か？必要に応じて、リストを実行して int にキャストするか、埋め込まれた引用符を削除できます。

于 2012-05-02T04:57:40.670 に答える