.net - Windowsサービスを介してBigQueryテーブルにレコードを挿入する

Question

サービスアカウント認証を使用してGoogleBigQueryAPIと完全に通信するWindowsサービスを作成しました。テストの目的で、BigQueryテーブルからデータをフェッチして、WindowsサービスとBigQueryAPI間の通信を確認できます。ただし、このサービスは基本的にMSSQLサーバーからレコードをフェッチし、BigQueryのターゲットテーブルにレコードを1つずつ挿入または追加します。CSVまたはJSONファイルをデータソースとして使用したくありません。そうする方法はありますか？

Answer 1

いいえ、BigQueryにデータを読み込むには、ソース形式としてCSVまたはJSONのいずれかを使用する必要があります。

BigQueryは現在、レコードレベルのモデルではなく、バッチ取り込みモデルをサポートしています。1日のインポート割り当ては、テーブルごとに1,000のインポートジョブであり、プロジェクト全体で合計10,000のインポートジョブです。

間隔を置いて（おそらく1時間ごとに）MSSQLサーバーからデータをエクスポートし、出力をCSVまたはJSONファイルにキャッシュし、MSSQLのエクスポート手順が完了した後にBigQuery取り込みジョブを開始することをお勧めします。