4

CSVからSQLにインポートしています。そのために、CSVファイルを読み取り、schema.iniを使用して一時的な.txtファイルに書き込みます。(なぜこの一時ファイルに書き込んでいるのかはまだ正確にはわかりませんが、それが現在のコードの動作方法です)。そこから、次の接続文字列(ASCIIファイルの場合)を使用して、OleDB経由でDataTableをロードしています。

"Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + sPath + ";Extended Properties=\"text;HDR=Yes;FMT=Delimited\"";

私たちが抱えている問題は、255文字を超えるフィールドが切り捨てられることです。私はこの問題についてオンラインで読んだことがありますが、デフォルトでは、テキストフィールドはこのように切り捨てられるようです。

レジストリ設定 ImportMixedTypes=Majority Typeを設定TypeGuessRows=0し、テキストとして解釈されなくなることHKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Jet\4.0\Engines\Excel を期待しています。mycolumnsその後、一時txtファイルはCSVファイルから正しく書き込まれていますが、を呼び出すdataAdapter.Fillと、結果のDataTableの値は切り捨てられたままになります。

問題の列の定義は次のとおりです。CommaDelimited#txt注2 false 234 true 130 0 0

どんな助けでもいただければ幸いです。現時点では、この問題を解決するためにサードパーティのコードを使用することに興味はありません。組み込みのツールを使用する方法が必要です。

テーブルの定義は次のとおりです。

<Columns> 
    <TABLE_NAME>CommaDelimited#txt</TABLE_NAME> 
    <COLUMN_NAME>Notes</COLUMN_NAME> 
    <ORDINAL_POSITION>2</ORDINAL_POSITION> 
    <COLUMN_HASDEFAULT>false</COLUMN_HASDEFAULT> 
    <COLUMN_FLAGS>234</COLUMN_FLAGS> 
    <IS_NULLABLE>true</IS_NULLABLE> 
    <DATA_TYPE>130</DATA_TYPE> 
    <CHARACTER_MAXIMUM_LENGTH>0</CHARACTER_MAXIMUM_LENGTH> 
    <CHARACTER_OCTET_LENGTH>0</CHARACTER_OCTET_LENGTH> 
</Columns>

ありがとう、

グレッグ


幅のあるテキストを指定してschema.iniを編集しようとしましたが、役に立ちませんでした(以前はメモに設定されていました)

[CommaDelimited.txt] Format = CSVDelimitedDecimalSymbol=。Col1=メモテキスト幅5000

4

6 に答える 6

6

以下は、区切りファイルを読み取り、文字列を切り捨てない DataTable (すべての文字列) を返す単純なクラスです。列名がファイルにない場合に列名を指定するためのオーバーロードされたメソッドがあります。多分あなたはそれを使うことができますか?

インポートされた名前空間

using System;
using System.Text;
using System.Data;
using System.IO;

コード

/// <summary>
/// Simple class for reading delimited text files
/// </summary>
public class DelimitedTextReader
{
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter)
    {
        return ReadFile(filename, delimiter, null);
    }
    /// <summary>
    /// Read the file and return a DataTable
    /// </summary>
    /// <param name="filename">File to read</param>
    /// <param name="delimiter">Delimiting string</param>
    /// <param name="columnNames">Array of column names</param>
    /// <returns>Populated DataTable</returns>
    public static DataTable ReadFile(string filename, string delimiter, string[] columnNames)
    {
        //  Create the new table
        DataTable data = new DataTable();
        data.Locale = System.Globalization.CultureInfo.CurrentCulture;

        //  Check file
        if (!File.Exists(filename))
            throw new FileNotFoundException("File not found", filename);

        //  Process the file line by line
        string line;
        using (TextReader tr = new StreamReader(filename, Encoding.Default))
        {
            //  If column names were not passed, we'll read them from the file
            if (columnNames == null)
            {
                //  Get the first line
                line = tr.ReadLine();
                if (string.IsNullOrEmpty(line))
                    throw new IOException("Could not read column names from file.");
                columnNames = line.Split(new string[] { delimiter }, StringSplitOptions.RemoveEmptyEntries);
            }

            //  Add the columns to the data table
            foreach (string colName in columnNames)
                data.Columns.Add(colName);

            //  Read the file
            string[] columns;
            while ((line = tr.ReadLine()) != null)
            {
                columns = line.Split(new string[] { delimiter }, StringSplitOptions.None);
                //  Ensure we have the same number of columns
                if (columns.Length != columnNames.Length)
                {
                    string message = "Data row has {0} columns and {1} are defined by column names.";
                    throw new DataException(string.Format(message, columns.Length, columnNames.Length));
                }
                data.Rows.Add(columns);
            }
        }
        return data;

    }
}

必要な名前空間

using System;
using System.Data;
using System.Windows.Forms;
using System.Data.SqlClient;
using System.Diagnostics;

これを呼び出して SQL データベースにアップロードする例を次に示します。

        Stopwatch sw = new Stopwatch();
        TimeSpan tsRead;
        TimeSpan tsTrunc;
        TimeSpan tsBcp;
        int rows;
        sw.Start();
        using (DataTable dt = DelimitedTextReader.ReadFile(textBox1.Text, "\t"))
        {
            tsRead = sw.Elapsed;
            sw.Reset();
            rows = dt.Rows.Count;
            string connect = @"Data Source=.;Initial Catalog=MyDB;Integrated Security=SSPI";
            using (SqlConnection cn = new SqlConnection(connect))
            using (SqlCommand cmd = new SqlCommand("TRUNCATE TABLE dbo.UploadTable", cn))
            using (SqlBulkCopy bcp = new SqlBulkCopy(cn))
            {
                cn.Open();
                sw.Start();
                cmd.ExecuteNonQuery();
                tsTrunc = sw.Elapsed;
                sw.Reset();

                sw.Start();
                bcp.DestinationTableName = "dbo.UploadTable";
                bcp.ColumnMappings.Add("Column A", "ColumnA");
                bcp.ColumnMappings.Add("Column D", "ColumnD");
                bcp.WriteToServer(dt);
                tsBcp = sw.Elapsed;
                sw.Reset();
            }
        }

        string message = "File read:\t{0}\r\nTruncate:\t{1}\r\nBcp:\t{2}\r\n\r\nTotal time:\t{3}\r\nTotal rows:\t{4}";
        MessageBox.Show(string.Format(message, tsRead, tsTrunc, tsBcp, tsRead + tsTrunc + tsBcp, rows));
于 2009-07-26T01:01:21.993 に答える
1

Jetデータベースエンジンは、メモに基づいてデータを処理するように要求すると、メモフィールドを切り捨てます(集計、重複排除、フォーマットなど)。

http://allenbrowne.com/ser-63.html

于 2009-06-27T04:33:38.707 に答える
0

これは、 schema.iniファイルを正しく指定することで修正できます。2つのオプションは、列をメモタイプに設定するか、幅>255を設定することだと思います。

于 2009-06-26T21:06:51.250 に答える
0

私の傾向は、CSVファイルを読み取るときにDataTableを直接作成することであり、データを別のテキストファイルに書き出すという余分な手順を実行するのではなく、もう一度メモリに読み取るだけです。

さらに言えば、最終的にどのようにしてDataTableからSQLデータベースにデータを取得するのでしょうか。DataTableをループして、一連のINSERTステートメントを実行している場合は、最初にCSVファイルを読み取っているときに、 2人の仲介者をスキップして、同じINSERTステートメントを呼び出してみませんか?

于 2009-06-26T22:07:25.090 に答える
0

これを行う最善の方法は、次のブログで CSVReader を使用することだと思います: http://ronaldlemmen.blogspot.com/2008/03/stopping-and-continuing-save-event.html

于 2010-04-30T14:24:43.713 に答える