appengine mapreduceを使用せずに、appengineアプリからbigqueryにログを取り込みたいですか?
4 に答える
appengine ログを bigquery に移行するための Java 実装をオープン ソース化しました: http://blog.streak.com/2012/07/export-your-google-app-engine-logs-to.html
こちらのbigqueryドキュメントをご覧ください。テーブルに追加するデータを含むマルチパートhttpリクエストを投稿できます。追加を行う場合は、スキーマを提供する必要はありません。
Google は最近、「Google Cloud Logging: Logs Export」と呼ばれる (ベータ) 機能をリリースしました https://cloud.google.com/logging/docs/install/logs_export
彼らはそれを次のように要約しています。
Google Compute Engine のログと Google App Engine のログを、Google Cloud Storage バケット、Google BigQuery データセット、Google Cloud Pub/Sub トピック、またはこれら 3 つの任意の組み合わせにエクスポートします。
この新しいサービスが提供するすべての機能を試したわけではありませんが...
最近、Python GAE プロジェクトで「Stream App Engine Logs to BigQuery」機能の使用を開始しました。これにより、アプリのログが BigQuery に直接送信され、BigQuery データセットでほぼリアルタイムのログ レコードが提供されます。
App Engine ログを BigQuery に取り込む方法を示す「log2bq」という Python ランタイム実装もあります: http://code.google.com/p/log2bq/