私は Google Cloud Datalab で作業しており、Pandas データフレームを新しい BigQuery テーブルとしてエクスポートしたいと考えています。Cloud Datalab に付属のオンライン ヘルプ ノートブックに従っていますが、BigQuery へのエクスポートの例は見られず、Google Cloud Storage へのエクスポートのみが見られます。
とにかく、BigQuery で正しいスキーマを使用してテーブルを作成する方法を理解することはできますが、実際のデータをテーブルに取得する方法を理解することはできません!
これは私が今持っているものです:
dataset = bq.DataSet('calculations')
dataset.create(friendly_name='blah',
description='blah blah')
print 'Dataset exists', dataset.exists()
# Create the schema for the table we're about to create.
schema = bq.Schema.from_dataframe(measures[0]['data'])
print schema
print len(measures[0]['data'])
# Create a table for our results.
temptable = bq.Table('calculations.test').create(schema=schema,
overwrite=True)
# How to export the actual data to the table?
したがって、これは次のように出力されます。
True
[{'type': 'STRING', 'name': u'id'}, {'type': 'STRING', 'name': ...
8173
私のデータフレームに8173行あることを示しています。
BigQuery にアクセスすると、正しいスキーマでテーブルが作成されていることがわかりますが、テーブルにはデータがありません。
実際にそこにデータをエクスポートするにはどうすればよいですか?
それが不可能な場合は、代わりに Cloud Storage にエクスポートできますが、試してみたところ、同じ問題が発生しています。BigQuery にエクスポートしたいと考えています。