問題タブ [bigquery-udf]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
google-bigquery - 複数の行で Bigquery JS UDF の制限に達する
BigQuery JS UDF の制限に問題があります。[1] に記載されている唯一のメモリ制限はapproximately 5 MB or less、UDF によって出力されるデータ量の制限であるため、出力バッファが ~3MB (base64 変換前) を超えた場合にエラーを返すように内部チェックを設定しました。それでも、一連の行に対して UDF を実行すると制限に達しますが、個別には正常に動作します。
たとえば、これは失敗しますResources exceeded during query execution: UDF out of memory.
ジョブ ID: cartodb-gcp-backend-data-team:US.bquxjob_1628ffa1_170c4d0d50f
一方、Bigquery をだまして UDF への呼び出しを別の方法でバッチ処理しても、問題はありません。
ジョブ ID: cartodb-gcp-backend-data-team:US.bquxjob_3f216117_170c4d2abae
重要かどうかはわかりませんが、UDF に渡されるデータは大きくなる可能性があり (この例では最大 20 MB)、出力は BYTE 型です (Length(mvt) で報告される最大サイズは 2.71 MB です)。
過去にも同様の問題があり [2]、v8 で発生する可能性のある問題について言及されていましたが、同じ問題かどうかはわかりません。
これは私の UDF の問題ですか、それとも v8+Bigquery の問題ですか? ノードの下で同等のコードをテストしましたが、メモリは安定したままです (20 ～ 30 分間実行しても目立ったリークはありません)。
[1] - https://cloud.google.com/bigquery/docs/reference/standard-sql/user-defined-functions
[2] - https://stackoverflow.com/a/35563562
編集：バグトラッカーで報告しました：https ://issuetracker.google.com/u/1/issues/151212192
google-bigquery - BigQuery の Merge ステートメントに相当するもの
Teradata から Big Query への移行を行っています。USING 句に VALUES を含むマージ ステートメントに遭遇しました。
BigQuery に相当するものを見つけるのを手伝ってくれる人はいますか。
sql - bigqueryの例外外で宣言された変数に値を割り当てるにはどうすればよいですか?
ストアド プロシージャを使用しており、例外の外部で宣言された変数に値を割り当てる必要があります。エラーが発生したときに、追加の変数を使用して別のストアド プロシージャを呼び出すことができるようにするためです。
結果は次のとおりです。
google-bigquery - ユーザー定義関数が見つかりません
次のようなメールを検証するための永続的な UDF 関数を作成しました。
次のクエリでテストし、魅力のように機能します。
しかし、テーブルをクエリして、このような関数を使用しようとすると
私はこれを得る：
関数が見つかりません: project-name[1:15] の .udf_library.is_valid_email
一時関数として作成すると機能しますが、永続的なUDFを持つという目的全体が無効になります
何か案は？
ありがとう