問題タブ [jsonlines]

Pythonで JSON ファイルを読み込んで解析しようとしています。しかし、私はファイルをロードしようとして立ち往生しています:

収量:

18.2jsonを見ました。— JSON エンコーダーとデコーダーは Python のドキュメントにありますが、この見苦しいドキュメントを読むのはかなり気が滅入ります。

最初の数行 (ランダム化されたエントリで匿名化):

大きなjsonファイルがあります。これは改行で区切られたJSONであり、複数の標準JSONオブジェクトが余分な改行で区切られています。

現在、node.jsでJSONStreamを使用して大きなjsonファイルを解析しています。JSONStreamを使用する理由は、ストリームに基づいているためです。

ただし、例の両方の解析構文は、各行に分離されたJSONを含むこのjsonファイルを解析するのに役立ちません

誰かがそれを手伝ってくれますか

上記のコマンド出力

期待される出力:

各オブジェクトを1行に印刷/保存したい。

シェルスクリプトで可能ですか？

Python では、次のように json ドキュメントを別の行に保存しています。

そして、このように読んでください：

簡単でシンプルなので、落とし穴があるに違いないと思いますか？jsonlines とも呼ばれるlinejsonはこれですべてですか？

ストリーム/ファイル全体を消費することなく、 JSONLファイルの最初のレコードを効率的に取得することは可能ですか? 私が非効率的に行うことができた1つの方法は次のとおりです。

curl -s http://example.org/file.jsonl | jq -s '.[0]'

ここで最初の行を抽出するために使用できることheadはわかっていますが、ファイルが改行をレコード区切りとして使用せず、単に連結されたオブジェクトまたは配列である可能性があると想定しています。

JSON Lines ファイルが次のように構成されているかどうかを知りたいです。

無効な JSONLines 形式と見なされますか? http://jsonlines.org/で標準を見たところ、いずれにしても何も見えませんでした。ありがとうございました。

Elasticsearch-dsl-py を使用して、多くのフィールドを持つ jsonl ファイルからいくつかのデータにインデックスを付けようとしています。一般的でない部分を無視すると、コードは次のようになります。

これを実行しようとすると、エラーで終了します:

親を持つ es を事前に伝える必要があると思います。ただし、私が望んでいないのは、両方のすべてのフィールドをマップすることです。

どんな助けでも大歓迎です！

API 応答を import.io からファイルまたはリストにロードするのに苦労しています。

私が使用しているエンドポイントはhttps://data.import.io/extractor/{0}/json/latest?_apikey={1}

以前はすべてのスクリプトが通常の JSON を使用するように設定されていて、すべて正常に機能していましたが、今では json 行を使用することにしましたが、どういうわけか不正な形式のようです。

スクリプトを適応させようとした方法は、次の方法で API 応答を読み取ることです。

これを行う際の問題は、data[0] をチェックすると、すべての json ファイルの内容がその中にダンプされたことです...

次に例を示しdata[0][:300]ます。

この API の応答の経験がある人はいますか? 私が他のソースから行う他のすべてのjsonline読み取りは、これを除いて正常に機能します。

コメントに基づいて編集：

これを与える：

おそらく、json_lines コーデックを取得してファイルからデータを読み取ろうとする n00b の問題です。

私の設定ファイルは次のようになります

私の超単純な入力ファイルは次のようになります

コーデックをファイルに切り替えると、plain期待どおりに読み取られ、出力が書き込まれます。しかし、私が何をしても、json_linesコーデックにこのデータを読み書きさせることができません。

私はlogstashにかなり慣れていないので、これは頭を包み込むことができない単純なものかもしれません。どんな助けでも大歓迎です！

乾杯！