5

約 100000 件の記事を含むテキスト ファイルがあります。ファイルの構造は次のとおりです。

.ドキュメント ID 42944-YEAR:5
.日付 03\08\11
.Cat ポリティカル
記事の内容 1

.ドキュメント ID 42945-YEAR:5
.日付 03\08\11
.Cat ポリティカル
記事の内容 2

このファイルを c# で開き、1 行ずつ処理したいと考えています。私はこのコードを試しました：

String[] FileLines = File.ReadAllText(
                  TB_SourceFile.Text).Split(Environment.NewLine.ToCharArray());

しかし、それは言います：

タイプ 'System.OutOfMemoryException' の例外がスローされました。

問題は、このファイルを開いて 1 行ずつ読むにはどうすればよいかということです。

  • ファイルサイズ: 564 MB (591,886,626 バイト)
  • ファイルエンコーディング: UTF-8
  • ファイルに Unicode 文字が含まれています。
4

4 に答える 4

13

一度にすべてをメモリにロードするのではなく、ファイルを開いてストリームとして読み取ることができます。

MSDN から:

using System;
using System.IO;

class Test 
{
    public static void Main() 
    {
        try 
        {
            // Create an instance of StreamReader to read from a file.
            // The using statement also closes the StreamReader.
            using (StreamReader sr = new StreamReader("TestFile.txt")) 
            {
                String line;
                // Read and display lines from the file until the end of 
                // the file is reached.
                while ((line = sr.ReadLine()) != null) 
                {
                    Console.WriteLine(line);
                }
            }
        }
        catch (Exception e) 
        {
            // Let the user know what went wrong.
            Console.WriteLine("The file could not be read:");
            Console.WriteLine(e.Message);
        }
    }
}
于 2010-04-25T19:33:13.790 に答える
12

ファイルが大きすぎて、一度にメモリに読み込むことができFile.ReadAllTextません。代わりに、ファイルを 1 行ずつ読み取る必要があります。

MSDNからの適応:

string line;
// Read the file and display it line by line.
using (StreamReader file = new StreamReader(@"c:\yourfile.txt"))
{
    while ((line = file.ReadLine()) != null)
    {    
        Console.WriteLine(line);
        // do your processing on each line here
    }
}

このように、一度にメモリ内に存在するのはファイルの 1 行のみです。

于 2010-04-25T19:35:48.587 に答える
6

.NET Framework 4 を使用している場合、文字列の IEnumerable を返す ReadLines という新しい静的メソッドが System.IO.File にあります。この正確なシナリオのフレームワークに追加されたと思います。しかし、私はまだそれを自分で使用していません。

MSDN ドキュメント - File.ReadLines メソッド (文字列)

関連するスタック オーバーフローの質問 - .net Framework 4.0 の File.ReadLines(..) メソッドのバグ

于 2010-05-19T03:25:33.323 に答える
2

このようなもの：

using (var fileStream = File.OpenText(@"path to file"))
{
    do
    {
        var fileLine = fileStream.ReadLine();
        // process fileLine here

    } while (!fileStream.EndOfStream);
}
于 2010-04-25T19:38:45.870 に答える