c# - c# 実行時に大量のデータを保存する最良の方法

Question

私のアプリケーションには、特定のパス構造に保存されている小さなファイルがたくさんあります。各ファイルのオフセットやファイル サイズなどの情報を含むヘッダーで始まる既存のすべてのファイルを格納するコンテナー ファイルを作成しています。BinaryWriter を使用してこのファイルに書き込みます。しかし、コンテナー ファイルに 1 回だけ追加される重複が多数あります。したがって、各ファイルのハッシュ値を作成し、データ テーブル内の既存のハッシュ値と比較します。これは正常に機能しますが、膨大な量のデータが存在する可能性があるため、これが良い方法であるかどうかを知りたいです。私の目標を達成するためのより良い、またはよりパフォーマンスの高い方法はありますか?

これが私の実際のコードです：

// I parsed through my files and created my header
// all file paths were added to my tileList
DataTable dtImageInfos = new DataTable();
dtImageInfos.Columns.Add("tilename", typeof(String));
dtImageInfos.Columns.Add("hash", typeof(String));
dtImageInfos.Columns.Add("offset", typeof(long));

foreach (String tile in tileList)
{                            
    FileInfo f = new FileInfo(tile);
    int tileSize = Convert.ToInt32(f.Length);

    if (tileSize <= MAX_CHECK_SIZE)
    {
        Image tileImg = Image.FromFile(tile);
        String tileHash = createHashForImage(tileImg);
        DataTable dtCheck = dtImageInfos.Clone();                                 

        if (dtImageInfos.Rows.Count > 0)
            dtImageInfos.AsEnumerable().Where(t => t.Field<String>("hash").Equals(tileHash))
                            .CopyToDataTable(dtCheck, LoadOption.OverwriteChanges);c#                                

        if (dtCheck.Rows.Count == 0)
        {
            writer.Write(tileOffset);

            DataRow drNew = dtImageInfos.NewRow();
            drNew["tilename"] = tile;
            drNew["hash"] = tileHash;
            drNew["offset"] = tileOffset;
            dtImageInfos.Rows.Add(drNew);

            tileOffset += tileSize;
        }
        else
        {
            DataRow drCheck = dtCheck.Rows[0];
            writer.Write((long)drCheck["offset"]);
        }              
    }
    else
    {
        writer.Write(tileOffset);

        DataRow drNew = dtImageInfos.NewRow();
        drNew["tilename"] = tile;
        drNew["hash"] = "";
        drNew["offset"] = tileOffset;
        dtImageInfos.Rows.Add(drNew);

        tileOffset += tileSize;
    }
    writer.Write(tileSize);                            
}

foreach (DataRow drTile in dtImageInfos.Rows)
{
    byte[] tileData = File.ReadAllBytes(drTile["tilename"].ToString());
    writer.Write(tileData);
}

私の問題を理解できるようにできれば幸いです。前もって感謝します