Java AppEngine用の新しい実験的なタスクキューを使用しており、データストア内の統計を集約するタスクを作成しようとしています。データストア内の(特定のタイプの)すべてのエンティティ内のUNIQUE値の数をカウントしようとしています。より具体的には、タイプXのエンティティにフィールドAがあるとします。データストア内のAの一意の値の数をカウントしたいと思います。
私の現在のアプローチは、タイプXの最初の10個のエンティティをクエリするタスクを作成し、Aの一意の値を格納するハッシュテーブルを作成してから、このハッシュテーブルをペイロードとして次のタスクに渡すことです。この次のタスクでは、すべてのエンティティを確認するまで、次の10個のエンティティなどをカウントします。最後のタスクの実行中に、ハッシュテーブル内のキーの数(タスクからタスクに渡されたもの)をカウントして、Aの一意の値の総数を見つけます。
これは、データストア内の少数のエンティティで機能します。しかし、一意の値がたくさんあると、このハッシュテーブルが大きくなりすぎるのではないかと心配しています。appengineタスクのペイロードの最大許容サイズはいくつですか?????
別のアプローチを提案できますか?
ありがとう。