大量のデータ収集を処理する必要がある Google App Engine アプリがあります。私が収集するデータは、1 日あたり約数百万のレコードです。私が見ているように、データを分析できるようにするためにこれに対処するには、2 つの簡単なアプローチがあります。
- 1. ロガー API を使用してアプリ エンジン ログを生成し、これらを大きなクエリにロードしてみます (または、より単純に CSV にエクスポートして Excel で分析を行います)。
- 2. アプリ エンジン データストア (ndb) にデータを保存し、後でそのデータをダウンロードするか、ビッグ クエリにロードしてみてください。
これを行うための好ましい方法はありますか？
ありがとう！