php - PHP：大きなテキストファイルの最後から行を取得する

Question

私はかなり長い間答えを探してきましたが、正しく機能するものは何も見つかりませんでした。

100MBテキストの行の周りに、サイズが大きくなるログファイルが140,000あります。を使用して、ファイルPHPの最後の500行を取得しようとしています。

どうすれば500線を引くことができますか？ほとんどの関数では、ファイルはメモリに読み込まれますが、これはこの問題のもっともらしいケースではありません。システムコマンドの実行は避けたほうがいいでしょう。

Answer 1

'nixマシンを使用している場合は、シェルエスケープとツール'tail'を使用できるはずです。しばらく経ちましたが、次のようなものです。

$lastLines = `tail -n 500`;

目盛りの使用に注意してください。これは、BASHなどの文字列を実行し、結果を返します。

Answer 2

私はこの関数を作成しましたが、これは私には非常にうまく機能しているようです。fileと同じように行の配列を返します。file_get_contentsのような文字列を返したい場合は、returnステートメントを次のように変更しreturn implode('', array_reverse($lines));ます。

function file_get_tail($filename, $num_lines = 10){

    $file = fopen($filename, "r");

    fseek($file, -1, SEEK_END);

    for ($line = 0, $lines = array(); $line < $num_lines && false !== ($char = fgetc($file));) {
        if($char === "\n"){
            if(isset($lines[$line])){
                $lines[$line][] = $char;
                $lines[$line] = implode('', array_reverse($lines[$line]));
                $line++;
            }
        }else
            $lines[$line][] = $char;
        fseek($file, -2, SEEK_CUR);
    }
    fclose($file);

    if($line < $num_lines)
        $lines[$line] = implode('', array_reverse($lines[$line]));

    return array_reverse($lines);
}

例：

file_get_tail('filename.txt', 500);

Answer 3

PHPでそれを実行したい場合：

<?php
/**
  Read last N lines from file.

  @param $filename string  path to file. must support seeking
  @param $n        int     number of lines to get.

  @return array            up to $n lines of text
*/
function tail($filename, $n)
{
  $buffer_size = 1024;

  $fp = fopen($filename, 'r');
  if (!$fp) return array();

  fseek($fp, 0, SEEK_END);
  $pos = ftell($fp);

  $input = '';
  $line_count = 0;

  while ($line_count < $n + 1)
  {
    // read the previous block of input
    $read_size = $pos >= $buffer_size ? $buffer_size : $pos;
    fseek($fp, $pos - $read_size, SEEK_SET);

    // prepend the current block, and count the new lines
    $input = fread($fp, $read_size).$input;
    $line_count = substr_count(ltrim($input), "\n");

    // if $pos is == 0 we are at start of file
    $pos -= $read_size;
    if (!$pos) break;
  }

  fclose($fp);

  // return the last 50 lines found  

  return array_slice(explode("\n", rtrim($input)), -$n);
}

var_dump(tail('/var/log/syslog', 50));

これはほとんどテストされていませんが、完全に機能するソリューションを得るには十分なはずです。

バッファサイズは1024ですが、より大きくまたはより大きくなるように変更できます。substr_count()（$ n *行の長さの見積もりに基づいて動的に設定することもできます。）これは、新しい行を探す必要があることを意味しますが、文字ごとに検索するよりも優れているはずです。