0

サンプル スキーマといくつかのサンプル データを使用して、Perl から BigQuery へのアップロードを実行しようとしています。彼らが提供するドキュメントに従って行き止まりに遭遇したため、bqコマンドラインクライアントが正常に実行することを模倣しようとしています。

のメソッドにbqデバッグprint (method, uri, headers, body)を追加して、何をするのかを追跡しています。私が送信した も含むレスポンスに対して を実行することで、Perl ライブラリが何を行っているかを追跡しています。のパターンは、アップロード URL にアクセスしてから、データに戻るというものです。対応するジョブは一連のリクエストで監視され、最終的に応答します。requesthttplib2Dumper_requestbqPOSTlocationPUTGET

Perl では my はPOST成功し、my はGET失敗しますInvalid Upload Request(ただし、無効である理由のヒントはありません)。私は、2つの違いが私の失敗を説明する可能性があることを理解しようとしています. しかし、私はそれを見つけることができません。

これが (access_token、IP アドレス、および project_id を省略した) 取得したトレースです。

POSTPython からの情報は次のとおりです。

(
    u'POST',
    u'https://www.googleapis.com/upload/bigquery/v2/projects/<project ID>/jobs?uploadType=resumable&alt=json',
    {
        'content-length': '442',
        'accept-encoding': 'gzip, deflate',
        'accept': 'application/json',
        'user-agent': u'bq/2.0 google-api-python-client/1.0',
        'X-Upload-Content-Length': '84',
        'X-Upload-Content-Type': 'application/octet-stream',
        'content-type': 'application/json',
        'Authorization': u'Bearer <access token>'
    },
    '{"configuration": {"load": {"sourceFormat": "NEWLINE_DELIMITED_JSON", "destinationTable": {"projectId": "<project id>", "tableId": "demo_api", "datasetId": "tmp_bt"}, "maxBadRecords": 0, "schema": {"fields": [{"type": "STRING", "mode": "required", "name": "demo_string"}, {"type": "INTEGER", "mode": "required", "name": "demo_integer"}]}}}, "jobReference": {"projectId": "<project id>", "jobId": "bqjob_r139e633b7e522cf7_0000014031d9fb49_1"}}'
)

対応する Perl は、次の明らかに成功した応答オブジェクトを取得します (ここで を確認できます_request)。

$VAR1 = bless( {
    '_protocol' => 'HTTP/1.1',
    '_content' => '',
    '_rc' => '200',
    '_headers' => bless( {
        'connection' => 'close',
        'client-response-num' => 1,
        'location' => 'https://www.googleapis.com/upload/bigquery/v2/projects/<project id>/jobs?uploadType=resumable&upload_id=AEnB2Ur0mdwmZpMot6ftkgj1IkqK0f7oPbZrXWQekUDHK_E2o2HKznJO6DK2xPYCB-nhUGrMrEJJ7z1Tz9Crnka9e5EYGP1lWQ',
        'date' => 'Tue, 06 Aug 2013 20:46:05 GMT',
        'client-ssl-cert-issuer' => '/C=US/O=Google Inc/CN=Google Internet Authority',
        'client-ssl-cipher' => 'RC4-SHA',
        'client-peer' => '<some ip>:443',
        'content-length' => '0',
        'client-date' => 'Tue, 06 Aug 2013 20:46:05 GMT',
        'content-type' => 'text/html; charset=UTF-8',
        'client-ssl-cert-subject' => '/C=US/ST=California/L=Mountain View/O=Google Inc/CN=*.googleapis.com',
        'server' => 'HTTP Upload Server Built on Jul 24 2013 17:20:01 (1374711601)',
        'client-ssl-socket-class' => 'IO::Socket::SSL'
    }, 'HTTP::Headers' ),
    '_msg' => 'OK',
    '_request' => bless( {
        '_content' => '{"configuration":{"load":{"maxBadRecords":0,"destinationTable":{"datasetId":"tmp_bt","tableId":"perl","projectId":<project id>},"sourceFormat":"NEWLINE_DELIMITED_JSON","schema":{"fields":[{"mode":"required","name":"demo_string","type":"STRING"},{"mode":"required","name":"demo_integer","type":"INTEGER"}]}}},"jobReference":{"projectId":<project id>,"jobId":"perlapi_1375821964"}}',
        '_uri' => bless( do{\(my $o = 'https://www.googleapis.com/upload/bigquery/v2/projects/<project id>/jobs?uploadType=resumable')}, 'URI::https' ),
        '_headers' => bless( {
            'user-agent' => 'libwww-perl/6.05',
            'content-type' => 'application/json',
            'accept' => 'application/json',
            ':X-Upload-Content-Type' => 'application/octet-stream',
            'content-length' => 379,
            ':X-Upload-Content-Length' => '84',
            'authorization' => 'Bearer <access token>'
        }, 'HTTP::Headers' ),
        '_method' => 'POST',
        '_uri_canonical' => $VAR1->{'_request'}{'_uri'}
    }, 'HTTP::Request' )
}, 'HTTP::Response' );

そして、 がありPUTます。Python 側では、以下を送信しました。

(
    'PUT',
    'https://www.googleapis.com/upload/bigquery/v2/projects/<project id>/jobs?uploadType=resumable&alt=json&upload_id=AEnB2UpWMRCAOffqyR0d7zvGVtD-KWhrC9jGB-q_igecJgoyz_mIHgEFfs9cYoPxUwUxuflQScMzGxDsKKJ_CJPQq4Os-AkdZA',
     {
         'Content-Range': 'bytes 0-83/84',
         'Content-Length': '84',
         'Authorization': u'Bearer <access token>',
         'user-agent': u'bq/2.0'
    },
    <apiclient.http._StreamSlice object at 0x10ce11150>
)

(ストリーム スライス オブジェクトが Perl と同じ 84 バイトであることを確認しました。) そして、Perl の失敗は次のとおりです。

$VAR1 = bless( {
    '_protocol' => 'HTTP/1.1',
    '_content' => '{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "badRequest",
    "message": "Invalid Upload Request"
   }
  ],
  "code": 400,
  "message": "Invalid Upload Request"
 }
}
',
    '_rc' => '400',
    '_headers' => bless( {
        'connection' => 'close',
        'client-response-num' => 1,
        'date' => 'Tue, 06 Aug 2013 20:46:07 GMT',
        'client-ssl-cert-issuer' => '/C=US/O=Google Inc/CN=Google Internet Authority',
        'client-ssl-cipher' => 'RC4-SHA',
        'client-peer' => '<some IP address>:443',
        'content-length' => '193',
        'client-date' => 'Tue, 06 Aug 2013 20:46:07 GMT',
        'content-type' => 'application/json',
        'client-ssl-cert-subject' => '/C=US/ST=California/L=Mountain View/O=Google Inc/CN=*.googleapis.com',
        'server' => 'HTTP Upload Server Built on Jul 24 2013 17:20:01 (1374711601)',
        'client-ssl-socket-class' => 'IO::Socket::SSL'
    }, 'HTTP::Headers' ),
    '_msg' => 'Bad Request',
    '_request' => bless( {
        '_content' => '{"demo_string":"foo", "demo_integer":"2"}
{"demo_string":"bar", "demo_integer":"3"}
',
        '_uri' => bless( do{\(my $o = 'https://www.googleapis.com/upload/bigquery/v2/projects/<project id>/jobs?uploadType=resumable&upload_id=AEnB2Ur0mdwmZpMot6ftkgj1IkqK0f7oPbZrXWQekUDHK_E2o2HKznJO6DK2xPYCB-nhUGrMrEJJ7z1Tz9Crnka9e5EYGP1lWQ')}, 'URI::https' ),
        '_headers' => bless( {
            'user-agent' => 'libwww-perl/6.05',
            ':Content-Length' => '84',
            ':Content-Range' => '0-83/84',
            'content-length' => 84,
            'authorization' => 'Bearer <access token>'
        }, 'HTTP::Headers' ),
        '_method' => 'PUT',
        '_uri_canonical' => $VAR1->{'_request'}{'_uri'}
    }, 'HTTP::Request' )
}, 'HTTP::Response' );

BigQuery が のように応答するようにするには、Perl 側で何を変更すればよいbqですか?

4

2 に答える 2

1

一部の PUT ヘッダーの前にはコロンがありますが、Python にはありません。

':Content-Length' => '84',
':Content-Range' => '0-83/84',
于 2013-08-07T12:33:44.020 に答える
0

マルチパート アップロード リクエストに不正な形式があると思われます。エラー「無効なアップロード リクエスト」は、マルチパート MIME メッセージからデータ ペイロードを分割しようとした結果です。ロギングにはリクエストの本文に関する詳細が含まれていないため、予想外の違いについて並べて比較することはできません。

問題がマルチパート アップロードであることを確認するには、リクエスト ペイロード自体にデータを含めるのではなく、Google ストレージからデータをロードするロード リクエストを試すことができます。これにより、perl API リクエスト パスが機能していることを確認できます。

参考までに: 役立つかもしれないアルファ版の Perl Google Apis クライアントがあります。私は試したことがなく、開発が活発に行われているかどうかもわかりませんが、役立つヒントが見つかるかもしれません。https://code.google.com/p/google-api-perl-client/をご覧ください

于 2013-08-26T19:13:36.067 に答える