データベース テーブルに何百万ものレコードがあり、それをデータ セットに保存しようとしています (データ セットを使用して Lucene インデックスを作成しています)。
問題は、Data Set が何百万ものレコードを処理できず、メモリ不足の例外が発生することです。
public DataSet GetDataSet(string sqlQuery)
{
DataSet ds = new DataSet();
SqlConnection sqlCon = new SqlConnection("Server=M-E-DB2;Database=IS;Trusted_Connection=True;");
SqlCommand sqlCmd = new SqlCommand();
sqlCmd.Connection = sqlCon;
sqlCmd.CommandType = CommandType.Text;
sqlCmd.CommandText = sqlQuery;
SqlDataAdapter sqlAdap = new SqlDataAdapter(sqlCmd);
sqlAdap.Fill(ds);
sqlCon.Close();
return ds;
}
私のシナリオを念頭に置いて、メモリ不足の例外を処理するための代替案を誰かに提案してもらえますか。
ありがとう。