1

20.000.000 行のファイルがあり、毎日このファイルにいくつかの行が追加または削除され、crontab を実行する必要があります。毎日 50.000 行の 9 ファイルを取得する必要があります。

例えば:

BigFile is my file with 20.000.000 lines.

そして、9つのファイルを生成する必要があります.1行目から50000行までの最初のファイル、50001行から100000行までの2番目のファイル、100001行から150000行までの3番目のファイルです。. . .

私のファイルは一日中変更されるため、最初は分割できません。2番目の問題は、最初に9つのファイルを2日目に取得した場合、最後の行の使用を続行する必要があることです。

たとえば、最初の日は 450.000 行を使用し、2 日目は 450001 から 500000 までの最初の行が必要で、3 日目は最初のファイルに 900001 を使用する必要があります。

最初に分割を使用すると、ファイルが変更され、2 日目にはファイルが機能しないため、分割が機能しません

手伝って頂けますか?

4

1 に答える 1

2

splitコマンド ( manpage )を使用します。

例えば:

$ split -l 50000 /path/to/bigfile
于 2013-07-21T16:58:55.907 に答える