python - Pythonで* .lz4ファイルを読む

Question

lz4 形式で圧縮された膨大な数のツイート データがあります。各ファイルを開いて解凍し、python からいくつかの情報を抽出したいと思います。

lz4c -dUbuntu でコマンドを使用してファイルを解凍すると、ファイルは問題なく解凍されます。しかしlz4.loads('path_to_file')、Pythonで使用すると、 ValueError: corrupt input at byte 6. バイト モードでファイルを read() しようとすると、同じエラー メッセージが表示されます。私は何をしますか？

Answer 1

lz4.loads()その文字列のファイルパスではなく、渡した文字列を解凍します。このライブラリはファイルを開くことをサポートしていないようです。そのため、自分でデータを読み取る必要があります。

lz4.loads(open('path_to_file', 'rb').read())