10

理由はわかりませんが、クライアントライブラリには、WindowsAzureテーブルストレージに対して多くのクエリを並行して実行するためのメカニズムがないようです。かなりの時間を節約するために使用できるテンプレートクラスを作成しました。自由に使用できます。ただし、それを分解して、このクラスを改善する方法についてフィードバックを提供していただければ幸いです。

public class AsyncDataQuery<T> where T: new()
{
    public AsyncDataQuery(bool preserve_order)
    {
        m_preserve_order = preserve_order;
        this.Queries = new List<CloudTableQuery<T>>(1000);
    }

    public void AddQuery(IQueryable<T> query)
    {
        var data_query = (DataServiceQuery<T>)query;
        var uri = data_query.RequestUri; // required

        this.Queries.Add(new CloudTableQuery<T>(data_query));
    }

    /// <summary>
    /// Blocking but still optimized.
    /// </summary>
    public List<T> Execute()
    {
        this.BeginAsync();
        return this.EndAsync();
    }

    public void BeginAsync()
    {
        if (m_preserve_order == true)
        {
            this.Items = new List<T>(Queries.Count);
            for (var i = 0; i < Queries.Count; i++)
            {
                this.Items.Add(new T());
            }
        }
        else
        {
            this.Items = new List<T>(Queries.Count * 2);
        }

        m_wait = new ManualResetEvent(false);

        for (var i = 0; i < Queries.Count; i++)
        {
            var query = Queries[i];
            query.BeginExecuteSegmented(callback, i);
        }
    }

    public List<T> EndAsync()
    {
        m_wait.WaitOne();
        m_wait.Dispose();

        return this.Items;
    }

    private List<T> Items { get; set; }
    private List<CloudTableQuery<T>> Queries { get; set; }

    private bool m_preserve_order;
    private ManualResetEvent m_wait;
    private int m_completed = 0;
    private object m_lock = new object();

    private void callback(IAsyncResult ar)
    {
        int i = (int)ar.AsyncState;
        CloudTableQuery<T> query = Queries[i];
        var response = query.EndExecuteSegmented(ar);
        if (m_preserve_order == true)
        { // preserve ordering only supports one result per query
            lock (m_lock)
            {
                this.Items[i] = response.Results.Single();
            }
        }
        else
        { // add any number of items
            lock (m_lock)
            {
                this.Items.AddRange(response.Results);
            }
        }
        if (response.HasMoreResults == true)
        { // more data to pull
            query.BeginExecuteSegmented(response.ContinuationToken, callback, i);
            return;
        }
        m_completed = Interlocked.Increment(ref m_completed);
        if (m_completed == Queries.Count)
        {
            m_wait.Set();
        }
    }
}
4

2 に答える 2

5

私はパーティーに遅れていると思います。私は2つのことを追加します：

  1. ManualResetEventはIDisposableです。したがって、どこかに廃棄されることを確認する必要があります。
  2. エラー処理-クエリの1つが失敗した場合、おそらく全体が失敗します。失敗したリクエストを再試行する必要があります。または、取得した値を返し、どのクエリが失敗したかを示して、呼び出し元がクエリを再試行できるようにすることもできます。
  3. クライアント側のタイムアウト-ありません。サーバー側がタイムアウトした場合、これは問題ではありませんが、それが失敗した場合（ネットワークの問題など）、クライアントは永久にハングします。

また、これは実際にはタスク並列ライブラリよりも優れたアプローチだと思います。この前に、クエリごとのタスクアプローチを試しました。コードは実際にはもっと扱いにくく、アクティブなスレッドがたくさんある傾向がありました。私はまだあなたのコードで広範囲にテストしていませんが、最初の赤面でうまくいくようです。

アップデート

私は上記のコードの多かれ少なかれ書き直しにいくつかの作業を入れました。私の書き直しは、すべてのロックを削除し、ハングしたトランザクションのクライアント側のタイムアウトをサポートし（まれですが、実際に発生し、実際に1日を台無しにする可能性があります）、いくつかの例外処理ロジックをサポートします。Bitbucketでテストを行う完全なソリューションがあります。最も関連性の高いコードは1つのファイルに含まれていますが、プロジェクトの他の部分にあるヘルパーが必要です。

于 2012-02-18T00:47:07.097 に答える
4

タスク並列ライブラリの使用を検討しましたか？

http://msdn.microsoft.com/en-us/library/dd537609.aspx

于 2010-12-29T22:28:30.963 に答える