C# oracleDataReader を使用して Oracle データベースからファイルにデータを抽出しています。複数のスレッドを使用しており、clob 以外のデータの読み取りは非常に高速で、1 GB で 4 分と言うことがわかりました。しかし、データに clob が含まれている場合は非常に遅く、12 MB の clob データでも約 3 時間かかります。
バッファーを 64 KB から 5 MB に増やしてみました。
clob をファイルに書き込む速度を上げる方法を提案してください。
ソースコード
実際の csv 用に 1 つ、Clob 用に 1 つの 2 つのファイルを使用しています。csvファイルのclobの代わりにrecordpointerを書き込み、clobファイルにrecordpointer、clob値を書き込みます。
else if (objVal is OracleClob)
{
OracleClob oraVal = (OracleClob)objVal;
if (oraVal.IsEmpty)
sw.Write("");
else
{
// using (StreamWriter writer = new StreamWriter(fileName, true))
{
Interlocked.Increment(ref recordPointer);
if (recordPointer == 1)
{
string fileName = outputFileName.Remove(outputFileName.LastIndexOf("."));
fileName = fileName + ".clobcsv";
clobWriter = new StreamWriter(fileName, true);
log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file");
clobWriter.WriteLine("Id," + cols[i]);
}
StringBuilder sb = new StringBuilder("\"");
StringBuilder value = new StringBuilder();
value.Append(oraVal.Value);
//CsvEscape(value.ToString());
value.Replace("\"", "\"\"");
sb.Append(recordPointer);
sb.Append("\"");
sb.Append(delimiter);
sb.Append("\"");
//sb.Append(oraVal.Value.Replace("\"", "\"\""));
sb.Append(value);
value.Clear();
sb.Append("\"");
clobWriter.WriteLine(sb);
//clobWriter.WriteLine("\"" + recordPointer + "\"" + delimiter + "\"" + oraVal.Value.Replace("\"", "\"\"") + "\"");
}
sw.Write(recordPointer);
}
}