問題タブ [amazon-s3-select]

selectObjectContent関数を使用して AWS S3 から特定のレコードをフェッチしようとすると、OverMaxRecordSize: The character number in one record is more than our max threshold, maxCharsPerRecord: 1,048,576というエラーが表示されます。

10 個のレコードをフェッチしている場合は機能しますが、そのうちの 1 つをフェッチしようとすると、上記のエラーがスローされます。

AWS ドキュメントのエラーの理由を見ることができるように、「入力または結果のレコードの長さが 1 MB の maxCharsPerRecord を超えています。」

私のデータは位置データであり、そのサイズは 1 MB を超える可能性があるため、解決策または回避策を提案してください。

例えば：

作業中: select * from s3object s limit 10;

動作していません: select * from s3object s where id = '22'

私のパラメータは次のとおりです。

S3-Select を使用して json ファイルのデータをクエリしようとしています

誰かが WHERE contact_name='User 1' の条件に基づいて、s3 select を使用して目的の出力を取得するのを手伝ってくれますか?

以下は、私たちが試したクエリです。

上記のクエリでは、group_id をハードコーディングしており、以下を取得できます。

しかし、私たちの場合、groupid は動的であるため、理解できません。それをどのように処理するのですか？

s3 select クエリと where 句を使用して、s3 からデータを取得しています。where句がない場合、クエリは正常に機能し、期待される結果を返します。where句を使用している場合、フィルタリングされたデータは正しいですが、オブジェクトのキーはヘッダーではなくヘッダーの後の最初の行です。

例：csvファイル

ABC

1 2 3

1 5 6

クエリ:select * from s3object s where s._1 = '1' limit 100

期待される出力:[{A : 1, B:2, C:3}, {A:1, B:5, C:6}]

実際の出力:[{1:1, 2:5, 3:6}]

これは、クエリに使用している params オブジェクトです。

を使用しても同じ出力が得られFileHeaderInfo : "USE"、クエリを次のように変更しますselect * from s3object s where id = '22' and s.date > '2020-05-01' limit 100

AWS ドキュメント: https://docs.aws.amazon.com/AmazonS3/latest/API/API_SelectObjectContent.html