0

データベースに System.Data.SQLite を使用していますが、選択ステートメントが非常に遅いです。約 5000 行のデータをクエリするには、約 3 ～ 5 分かかります。私が使用しているコードは次のとおりです。

        string connectionString;
        connectionString = string.Format(@"Data Source={0}", documentsFolder + ";Version=3;New=False;Compress=True;");
        //Open a new SQLite Connection
        SQLiteConnection conn = new SQLiteConnection(connectionString);
        conn.Open();

        SQLiteCommand cmd = new SQLiteCommand();
        cmd.Connection = conn;
        cmd.CommandText = "Select * From urls";
        //Assign the data from urls to dr
        SQLiteDataReader dr = cmd.ExecuteReader();

        SQLiteCommand com = new SQLiteCommand();
        com.CommandText = "Select * From visits";
        SQLiteDataReader visit = com.ExecuteReader();

        List<int> dbID2 = new List<int>();
        while (visit.Read())
        {
            dbID2.Add(int.Parse(visit[1].ToString()));
        }
        //Read from dr
        while (dr.Read())
        {
            string url = dr[1].ToString();
            string title = dr[2].ToString();
            long visitlong = Int64.Parse(dr[5].ToString());
            string browser = "Chrome";
            int dbID = int.Parse(dr[0].ToString());
            bool exists = dbID2.Any(item => item == dbID);
            int frequency = int.Parse(dr["visit_count"].ToString());

            bool containsBoth = url.Contains("file:///");

            if (exists)
            {
                if (containsBoth == false)
                {
                    var form = Form.ActiveForm as TestURLGUI2.Form1;

                    URLs.Add(new URL(url, title, browser, visited, frequency));
                    Console.WriteLine(String.Format("{0} {1}", title, browser));
                }
            }

        }
        //Close the connection
        conn.Close();

そして、時間がかかる別の例を次に示します。

IEnumerable<URL> ExtractUserHistory(string folder, bool display)
{
    // Get User history info
    DataTable historyDT = ExtractFromTable("moz_places", folder);

    // Get visit Time/Data info
    DataTable visitsDT = ExtractFromTable("moz_historyvisits",
                                           folder);



    // Loop each history entry
    foreach (DataRow row in historyDT.Rows)
    {
        // Select entry Date from visits
        var entryDate = (from dates in visitsDT.AsEnumerable()
                         where dates["place_id"].ToString() == row["id"].ToString()
                         select dates).LastOrDefault();
        // If history entry has date
        if (entryDate != null)
        {
            // Obtain URL and Title strings
            string url = row["Url"].ToString();
            string title = row["title"].ToString();
            int frequency = int.Parse(row["visit_count"].ToString());
            string visit_type;

            //Add a URL to list URLs
            URLs.Add(new URL(url, title, browser, visited, frequency));

            // Add entry to list
            //    URLs.Add(u);
            if (title != "")
            {
                Console.WriteLine(String.Format("{0} {1}", title, browser));
            }
        }
    }

    return URLs;
}



DataTable ExtractFromTable(string table, string folder)
{
    SQLiteConnection sql_con;
    SQLiteCommand sql_cmd;
    SQLiteDataAdapter DB;
    DataTable DT = new DataTable();

    // FireFox database file
    string dbPath = folder + "\\places.sqlite";

    // If file exists
    if (File.Exists(dbPath))
    {
        // Data connection
        sql_con = new SQLiteConnection("Data Source=" + dbPath +
                            ";Version=3;New=False;Compress=True;");

        // Open the Connection
        sql_con.Open();
        sql_cmd = sql_con.CreateCommand();

        // Select Query
        string CommandText = "select * from " + table;

        // Populate Data Table
        DB = new SQLiteDataAdapter(CommandText, sql_con);
        DB.Fill(DT);

        // Clean up
        sql_con.Close();
    }
    return DT;
}

では、これらを最適化して高速化するにはどうすればよいでしょうか?

4

2 に答える 2

1

より多くのデータ集計を結合として SQL に移動することに加えてSQLiteDataReader、常に値を解析するのではなく、データ型を提供することを検討することもできます。

たとえば、次の行があります。

long visitlong = Int64.Parse(dr[5].ToString());

dr[5]最初に文字列に変換してから long に解析する Sqlite 値です。これらの解析操作には時間がかかります。代わりに次のことをしてみませんか:

long visitlong = dr.GetInt64(5);

または：

long visitlong = dr.GetInt64(dr.GetOrdinal("columnName"));

SqliteDataReader が提供するさまざまなメソッドを確認し、値を解析する代わりに可能な限りそれらを利用してください。

編集：

これには、データを正しいタイプとして保存する必要があることに注意してください。データベース内のすべてが文字列として格納されている場合、一部の解析は避けられません。

于 2012-07-25T23:48:35.100 に答える
0

SQL コマンド「ANALYZE {db|table|index};」を最近実行したことを確認してください。

最近、ER ソフトウェア (Navicat) でクエリが高速 (1 秒未満) に実行される状況に遭遇しました。つまり、デバッグではなく、Visual Studio でのデバッグが非常に低速 (1 分超) でした。Navicat (SQLite v3.7) でデータベース設計を行ったため、統計は Visual Studio (v3.8) の System.Data.SQLite で使用されたものと同じではないことが判明しました。「ANALYZE;」の実行 Visual Studio のデータベース ファイル全体で、v3.8 で使用される [sqlite_statX] テーブルを更新しました。その後はどちらも同じ速さでした。

于 2014-04-25T04:51:57.743 に答える