java - Jackson を使用して、Jackson ArrayNode の Amazon S3 からメモリ内の大きな JSON ファイルを読み取ることができません

Question

Amazon S3 に保存され、約 30,000 レコードを含み、サイズが 100 MB の非常に大きな JSON ファイルを読み込もうとしています。

Java で JSON ArrayNode のすべてのレコードを読み取ろうとしています。メモリ内のすべてのレコードを読み取ることができません。最大 3619 レコードを読み取り、サーバーを再起動します。ログでもこの問題のログトレースを見つけることができません。

誰でもこれで私を助けることができますか？

ありがとう。

Answer 1

S3 コンソールを使用して S3 からファイルをダウンロードし、この perl スクリプトを適切に変更して、ダウンロードしたデータが実際に有効な Json であるかどうかを確認してください。

use warnings FATAL => qw(all);
use strict;
use Carp;
use Data::Dump qw(dump);
use JSON;

my $File = "....";       # File name containing downloaded JSON
open(my $f, "<$File") or die "Cannot open file $File for input";
local $/;                # Enable localized slurp mode
my $j = <$f>;
my $d = decode_json $j;

print dump($d);