問題タブ [jsonlines]

ファイルのグループがあり.jsonl.gzます。スクリプトを使用してそれらを読むことができます：

次に、いくつかの処理を行い、いくつかの .json ファイルを取得してリストに保存します。

私の質問は、それらをもう一度書き込む正しい方法は何.jsonl.gzですか?

これは私の試みです

しかし、私はこのエラーが発生しました: TypeError: memoryview: a bytes-like object is required, not 'list'

次に、辞書のリストをそのまま gzip しようとしました。

しかし、リスト全体を1つのブロックとしてgzipするという問題があり、それを読み返すと、最初のステップから取得したjsonファイルのリストではなく、保存されたリスト全体である1つの要素を取得しました。

これは私が読むために使用するコードです

こんにちは、次jsonlのような 2 つのファイルがあります。

one.jsonl

second.jsonl

そして、私の目標は、次のような新しいjsonlファイル名 (エンコーディングを保持したまま)を作成merged_file.jsonlすることです。

私のアプローチは次のようなものです：

しかし、私はこのエラーに遭遇しました: TypeError: Object of type generator is not JSON serializable私はあなたのヒント/ヘルプを何らかの方法で感謝します. ありがとうございました！私は他のSOリポジトリを見てきましたが、それらはすべて通常のjsonファイルを書き込んでおり、私の場合も機能するはずですが、失敗し続けています。

このように単一のファイルを読み取ると、次のように機能します。

Azure Cognitive Search を使用してインデックスを作成しようとしている 1 GB の Json ファイルがあります。インデクサーを作成する最後のステップで、「リクエストが無効です。詳細: 無効なインデックス: インデックスには 54 個の複合コレクション フィールドが含まれています。インデックスには最大 40 個の複合コレクション フィールドを含めることができます。」というエラーが表示されます。

Microsoft サポートは、これが製品の制限であるとも述べています。

誰かがこの種のシナリオに直面したことがありますか?

IPython で実行するシェル スクリプトは、次のオブジェクトを返します。

results = ['{"url": "https://url.com", "date": "2020-10-02T21:25:20+00:00", "content": "mycontent\nmorecontent\nmorecontent", "renderedContent": "myrenderedcontent", "id": 123, "username": "somename", "user": {"username": "somename", "displayname": "some name", "id": 123, "description": "my description", "rawDescription": "my description", "descriptionUrls": [], "verified": false, "created": "2020-02-00T02:00:00+00:00", "followersCount": 1, "friendsCount": 1, "statusesCount": 1, "favouritesCount": 1, "listedCount": 1, "mediaCount": 1, "location": "", "protected": false, "linkUrl": null, "linkTcourl": null, "profileImageUrl": "https://myprofile.com/mypic.jpg", "profileBannerUrl": "https://myprofile.com/mypic.jpg"}, "outlinks": [], "outlinks2": "", "outlinks3": [], "outlinks4": "", "replyCount": 0, "retweetCount": 0, "likeCount": 0, "quoteCount": 0, "conversationId": 123, "lang": "en", "source": "<a href=\\"mysource.com" rel=\\"something\\">Sometext</a>", "media": [{"previewUrl": "smallpic.jpg", "fullUrl": "largepic.jpg", "type": "photo"}], "forwarded": null, "quoted": null, "mentionedUsers": [{"username": "name1", "displayname": "name 1", "id": 345, "description": null, "rawDescription": null, "descriptionUrls": null, "verified": null, "created": null, "followersCount": null, "friendsCount": null, "statusesCount": null, "favouritesCount": null, "listedCount": null, "mediaCount": null, "location": null, "protected": null, "linkUrl": null, "link2url": null, "profileImageUrl": null, "profileBannerUrl": null}]}', ...]

一方、...は前のエントリに似たエントリが多いことを示します。type() によると、これは slist です。前述のシェル スクリプトのドキュメントによると、これは jsonlines ファイルです。

最終的に、これを csv オブジェクトに変換したいと思います。ここで、キーは列であり、値は値であり、各エントリ (上記のようなもの) は行です。次のようなものです：

ここで提案されたソリューションを試しましたが、次のようなキーと値のペアを持つデータ フレームを受け取ります。