107

CSVファイルを強く型付けされたデータ構造にインポートする最良の方法は何ですか？

4

11 に答える 11

75

MicrosoftのTextFieldParserは安定しており、CSVファイルについてはRFC4180に準拠しています。Microsoft.VisualBasic名前空間に惑わされないでください。これは.NETFrameworkの標準コンポーネントであり、グローバルMicrosoft.VisualBasicアセンブリへの参照を追加するだけです。

（Monoではなく）Windows用にコンパイルしていて、「壊れた」（RFCに準拠していない）CSVファイルを解析する必要がない場合は、無料で、制限がなく、安定しているため、これは当然の選択です。積極的にサポートされており、そのほとんどはFileHelpersでは言えません。

参照：方法： VBコードの例については、VisualBasicでコンマ区切りのテキストファイルから読み取る。

于 2009-04-01T19:58:21.967 に答える
21

OleDB 接続を使用します。

String sConnectionString = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=C:\\InputDirectory\\;Extended Properties='text;HDR=Yes;FMT=Delimited'";
OleDbConnection objConn = new OleDbConnection(sConnectionString);
objConn.Open();
DataTable dt = new DataTable();
OleDbCommand objCmdSelect = new OleDbCommand("SELECT * FROM file.csv", objConn);
OleDbDataAdapter objAdapter1 = new OleDbDataAdapter();
objAdapter1.SelectCommand = objCmdSelect;
objAdapter1.Fill(dt);
objConn.Close();
于 2008-11-05T14:41:07.510 に答える
12

CSV 解析にかなり複雑なシナリオが予想される場合は、独自のパーサーを展開することなど考えないでください。FileHelpersやCodeProjectのツールなど、優れたツールがたくさんあります。

要点は、これはかなり一般的な問題であり、多くのソフトウェア開発者がすでにこの問題について考え、解決したことは間違いないということです。

于 2008-08-16T23:44:37.427 に答える
9

@NotMyselfに同意します。FileHelpersは十分にテストされており、最終的に自分で対処する必要があるあらゆる種類のエッジ ケースを処理します。FileHelpers が何をするかを見て、(1) FileHelpers が行うエッジ ケースを処理する必要がない、または (2) この種のものを書くのが好きで、次のようなものを解析する必要がある場合は、大喜びします。

1,"Bill","Smith","Supervisor", "No Comment"

2、「ドレイク」、「オマリー」、「用務員、

おっと、私は引用されておらず、新しい行にいます!

于 2008-08-16T23:53:11.327 に答える
9

ブライアンは、それを厳密に型指定されたコレクションに変換するための優れたソリューションを提供します。

指定された CSV 解析メソッドのほとんどは、フィールドのエスケープや、CSV ファイルのその他の微妙な点 (フィールドのトリミングなど) を考慮していません。これが私が個人的に使用するコードです。端が少し荒く、エラー報告はほとんどありません。

public static IList<IList<string>> Parse(string content)
{
    IList<IList<string>> records = new List<IList<string>>();

    StringReader stringReader = new StringReader(content);

    bool inQoutedString = false;
    IList<string> record = new List<string>();
    StringBuilder fieldBuilder = new StringBuilder();
    while (stringReader.Peek() != -1)
    {
        char readChar = (char)stringReader.Read();

        if (readChar == '\n' || (readChar == '\r' && stringReader.Peek() == '\n'))
        {
            // If it's a \r\n combo consume the \n part and throw it away.
            if (readChar == '\r')
            {
                stringReader.Read();
            }

            if (inQoutedString)
            {
                if (readChar == '\r')
                {
                    fieldBuilder.Append('\r');
                }
                fieldBuilder.Append('\n');
            }
            else
            {
                record.Add(fieldBuilder.ToString().TrimEnd());
                fieldBuilder = new StringBuilder();

                records.Add(record);
                record = new List<string>();

                inQoutedString = false;
            }
        }
        else if (fieldBuilder.Length == 0 && !inQoutedString)
        {
            if (char.IsWhiteSpace(readChar))
            {
                // Ignore leading whitespace
            }
            else if (readChar == '"')
            {
                inQoutedString = true;
            }
            else if (readChar == ',')
            {
                record.Add(fieldBuilder.ToString().TrimEnd());
                fieldBuilder = new StringBuilder();
            }
            else
            {
                fieldBuilder.Append(readChar);
            }
        }
        else if (readChar == ',')
        {
            if (inQoutedString)
            {
                fieldBuilder.Append(',');
            }
            else
            {
                record.Add(fieldBuilder.ToString().TrimEnd());
                fieldBuilder = new StringBuilder();
            }
        }
        else if (readChar == '"')
        {
            if (inQoutedString)
            {
                if (stringReader.Peek() == '"')
                {
                    stringReader.Read();
                    fieldBuilder.Append('"');
                }
                else
                {
                    inQoutedString = false;
                }
            }
            else
            {
                fieldBuilder.Append(readChar);
            }
        }
        else
        {
            fieldBuilder.Append(readChar);
        }
    }
    record.Add(fieldBuilder.ToString().TrimEnd());
    records.Add(record);

    return records;
}

これは、二重引用符で区切られていないフィールドのエッジケースを処理しないことに注意してください。この投稿を参照して、適切なライブラリへのリンクと同様に、より良い説明を参照してください。

于 2008-08-08T16:20:53.863 に答える
6

暇だったので書いたものを一部修正。ファイルの反復回数を減らしながら、オブジェクト指向の方法で解析をカプセル化しようとします。最初の foreach で 1 回だけ反復します。

using System;

using System.Collections.Generic;

using System.Linq;

using System.Text;

using System.IO;

namespace ConsoleApplication1
{
    class Program
    {

        static void Main(string[] args)
        {

            // usage:

            // note this wont run as getting streams is not Implemented

            // but will get you started

            CSVFileParser fileParser = new CSVFileParser();

            // TO Do:  configure fileparser

            PersonParser personParser = new PersonParser(fileParser);

            List<Person> persons = new List<Person>();
            // if the file is large and there is a good way to limit
            // without having to reparse the whole file you can use a 
            // linq query if you desire
            foreach (Person person in personParser.GetPersons())
            {
                persons.Add(person);
            }

            // now we have a list of Person objects
        }
    }

    public abstract  class CSVParser 
    {

        protected String[] deliniators = { "," };

        protected internal IEnumerable<String[]> GetRecords()
        {

            Stream stream = GetStream();
            StreamReader reader = new StreamReader(stream);

            String[] aRecord;
            while (!reader.EndOfStream)
            {
                  aRecord = reader.ReadLine().Split(deliniators,
                   StringSplitOptions.None);

                yield return aRecord;
            }

        }

        protected abstract Stream GetStream(); 

    }

    public class CSVFileParser : CSVParser
    {
        // to do: add logic to get a stream from a file

        protected override Stream GetStream()
        {
            throw new NotImplementedException();
        } 
    }

    public class CSVWebParser : CSVParser
    {
        // to do: add logic to get a stream from a web request

        protected override Stream GetStream()
        {
            throw new NotImplementedException();
        }
    }

    public class Person
    {
        public String Name { get; set; }
        public String Address { get; set; }
        public DateTime DOB { get; set; }
    }

    public class PersonParser 
    {

        public PersonParser(CSVParser parser)
        {
            this.Parser = parser;
        }

        public CSVParser Parser { get; set; }

        public  IEnumerable<Person> GetPersons()
        {
            foreach (String[] record in this.Parser.GetRecords())
            {
                yield return new Person()
                {
                    Name = record[0],
                    Address = record[1],
                    DOB = DateTime.Parse(record[2]),
                };
            }
        }
    }
}
于 2008-08-08T09:39:26.223 に答える
5

ソリューションのコードを提供するCodeProjectに関する記事が2つあります。1つはStreamReaderを使用し、もう1つはMicrosoftTextDriverを使用してCSVデータをインポートします。

于 2008-08-05T05:24:03.213 に答える
2

これを行う簡単な方法は、ファイルを開き、各行を配列、リンクリスト、選択したデータ構造に読み込むことです。ただし、最初の行の処理には注意してください。

これは頭​​に浮かぶかもしれませんが、接続文字列を使用してそれらにアクセスする直接的な方法もあるようです。

C＃やVBの代わりにPythonを使ってみませんか？それはあなたのためにすべての面倒な作業を行うインポートするための素晴らしいCSVモジュールを持っています。

于 2008-08-05T04:49:26.480 に答える
1

この夏のプロジェクトでは、.NETのCSVパーサーを使用する必要があり、Microsoft JetTextDriverに落ち着きました。接続文字列を使用してフォルダーを指定してから、SQLSelectステートメントを使用してファイルを照会します。schema.iniファイルを使用して厳密な型を指定できます。最初はこれをしませんでしたが、IP番号や「XYQ3.9 SP1」のようなエントリなど、データの種類がすぐにはわからないという悪い結果が出ていました。

私が遭遇した制限の1つは、64文字を超える列名を処理できないことです。切り捨てます。設計が非常に不十分な入力データを扱っていた場合を除いて、これは問題にはなりません。ADO.NETDataSetを返します。

これは私が見つけた最良の解決策でした。エンドケースのいくつかを見逃す可能性があり、.NET用の他の無料のCSV解析パッケージが見つからなかったため、自分のCSVパーサーをロールすることには注意が必要です。

編集：また、ディレクトリごとに1つのschema.iniファイルしか存在できないため、必要な列を厳密に入力するために動的に追加しました。指定された列のみを強く入力し、指定されていないフィールドを推測します。流動的な70列以上のCSVのインポートを扱っていて、各列を指定したくなく、動作に問題のある列だけを指定したので、これは本当にありがたいことです。

于 2008-08-16T22:15:51.133 に答える
1

私はいくつかのコードを入力しました。datagridviewer の結果は良さそうでした。1 行のテキストをオブジェクトの配列リストに解析します。

    enum quotestatus
    {
        none,
        firstquote,
        secondquote
    }
    public static System.Collections.ArrayList Parse(string line,string delimiter)
    {        
        System.Collections.ArrayList ar = new System.Collections.ArrayList();
        StringBuilder field = new StringBuilder();
        quotestatus status = quotestatus.none;
        foreach (char ch in line.ToCharArray())
        {                                
            string chOmsch = "char";
            if (ch == Convert.ToChar(delimiter))
            {
                if (status== quotestatus.firstquote)
                {
                    chOmsch = "char";
                }                         
                else
                {
                    chOmsch = "delimiter";                    
                }                    
            }

            if (ch == Convert.ToChar(34))
            {
                chOmsch = "quotes";           
                if (status == quotestatus.firstquote)
                {
                    status = quotestatus.secondquote;
                }
                if (status == quotestatus.none )
                {
                    status = quotestatus.firstquote;
                }
            }

            switch (chOmsch)
            {
                case "char":
                    field.Append(ch);
                    break;
                case "delimiter":                        
                    ar.Add(field.ToString());
                    field.Clear();
                    break;
                case "quotes":
                    if (status==quotestatus.firstquote)
                    {
                        field.Clear();                            
                    }
                    if (status== quotestatus.secondquote)
                    {                                                                           
                            status =quotestatus.none;                                
                    }                    
                    break;
            }
        }
        if (field.Length != 0)            
        {
            ar.Add(field.ToString());                
        }           
        return ar;
    }
于 2011-09-09T10:02:48.543 に答える
0

データにコンマが含まれていないことを保証できる場合、最も簡単な方法はおそらくString.splitを使用することです。

例えば：

String[] values = myString.Split(',');
myObject.StringField = values[0];
myObject.IntField = Int32.Parse(values[1]);

役立つライブラリがあるかもしれませんが、それはおそらくあなたが得ることができるのと同じくらい簡単です。データにカンマを含めることができないことを確認してください。カンマを含めると、データをより適切に解析する必要があります。

于 2008-08-05T05:02:37.640 に答える