Google BigQuery 上の特定のデータセットに含まれるすべてのデータを直接ダウンロードする簡単な方法はありますか? 私は実際に「csvとして」ダウンロードして、次々とクエリを作成していますが、15,000行を超える行を取得することはできず、ダウンロードする必要がある行は5Mを超えています. ありがとうございました
質問する
24615 次
4 に答える
8
ウェブ UI、コマンドライン ツール、または BigQuery API を使用して、BigQuery 抽出ジョブを実行できます。データが抽出できる
たとえば、コマンド ライン ツールを使用すると、次のようになります。
最初に、次の手順に従ってインストールと認証を行います: https://developers.google.com/bigquery/bq-command-line-tool-quickstart
次に、使用可能な Google Cloud Storage バケットがあることを確認します (この目的については、 Google Cloud Consoleを参照してください)。
次に、次のコマンドを実行します。
bq extract my_dataset.my_table gs://mybucket/myfilename.csv
API によるデータ抽出の詳細: https://developers.google.com/bigquery/exporting-data-from-bigquery
于 2013-08-28T20:04:23.963 に答える
7
大規模なクエリ出力をダウンロードするための詳細な手順
課金を有効にする
出力をエクスポートするには、Google にクレジット カード番号を提供する必要があり、支払いが必要になる場合もあります。
ただし、多くの趣味のプロジェクトでは、無料の割り当て (1 TB の処理済みデータ) で十分です。
プロジェクトを作成する
請求をプロジェクトに関連付ける
あなたの質問をしてください
新しいデータセットを作成する
出力が非常に大きい場合は、[オプションを表示] をクリックし、[大きな結果を許可する] を有効にします。
クエリ結果をデータセットのテーブルにエクスポートする
Cloud Storage にバケットを作成します。
テーブルを Cloud Storage に作成されたバックアップにエクスポートします。
必ずGZIP圧縮をクリックしてください
のような名前を使用します
<bucket>/prefix.gz。出力が非常に大きい場合は、ファイル名にアスタリスクを付ける必要が
*あり、出力は複数のファイルに分割されます。
クラウド ストレージからコンピュータにテーブルをダウンロードします。
大きなファイルが分割された場合、Web インターフェイスから複数のファイルをダウンロードすることはできないようですが、インストール
gsutilして実行することはできます。gsutil -m cp -r 'gs://<bucket>/prefix_*' .関連項目: Google ストレージ バケットからローカル フォルダにファイルとフォルダをダウンロードする
Ubuntu 16.04 にはあり
gsutilますが、無関係なパッケージです。https://cloud.google.com/storage/docs/gsutilのドキュメントに従ってインストールおよびセットアップする必要があります。
ローカルで解凍します:
for f in *.gz; do gunzip "$f"; done
これは、この回答の動機となったこれが必要なサンプルプロジェクトです。
于 2016-05-17T11:27:59.607 に答える