ヘッダーのないbz2フォーマット済みファイル (それぞれ)が多数あります。次のようにして、各サイズ30GBに簡単に分割できます。500Mpileline
bzcat logging.abc_gps.bz2 | pv | split -b 500M -d -a 4 --filter='bzip > $FILE.csv.bz2' - splitted_file-
['a' 'b' 'c' 'd' 'e' 'f' 'timestamp']しかし、分割された各ファイルに含めたいヘッダーを追加することはできませんbz2。
さらに重要なことは、 に基づいてファイルを分割するのではなく、データ内のの内容に基づいて1 日ごとにファイル500Mを分割したいbz2(例:splitted_file_2021-01-01.csv.bz2と)。splitted_file_2021-01-02.csv.bz2timestamp
以下のように、データはタブ区切りのテキストです (ヘッダーはありません。追加する必要があります)。
19252547212 1 3041 2 1 74.18 1.8504 2021-05-01 00:00:00
19252547213 1 5055 2 1 0 0 2021-05-01 00:00:00
19252547214 1 5073 1 1 53.81 0.1836 2021-05-01 00:00:00