約 5,000個の.gzip
ファイル (それぞれ約 1 MB) があります。これらの各ファイルには、あるjsonlines
形式のデータが含まれています。外観は次のとおりです。
{"category_id":39,"app_id":12731}
{"category_id":45,"app_id":12713}
{"category_id":6014,"app_id":13567}
これらのファイルを解析して、パンダのデータフレームに変換したいと考えています。このプロセスをスピードアップする方法はありますか? これが私のコードですが、ちょっと遅いです(ファイルあたり0.5秒)
import pandas as pd
import jsonlines
import gzip
import os
import io
path = 'data/apps/'
files = os.listdir(path)
result = []
for n, file in enumerate(files):
print(n, file)
with open(f'{path}/{file}', 'rb') as f:
data = f.read()
unzipped_data = gzip.decompress(data)
decoded_data = io.BytesIO(unzipped_data)
reader = jsonlines.Reader(decoded_data)
for line in reader:
if line['category_id'] == 6014:
result.append(line)
df = pd.DataFrame(result)