ファイルをリッスンする必要があります。その内容が追加されたら、新しい行を読み取り、新しい行の内容に取り組みます。ファイルの長さが短くなることはありません(実際には、Tomcatログファイルです)。
私は次のコードを使用します:
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import org.apache.log4j.Logger;
import com.zjswkj.analyser.ddao.LogEntryDao;
import com.zjswkj.analyser.model.LogEntry;
import com.zjswkj.analyser.parser.LogParser;
public class ListenTest {
private RandomAccessFile raf;
private long lastPosition;
private String logEntryPattern = "^([\\d.]+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] \"(.+?)\" (\\d{3}) (\\S+) \"([^\"]+)\" \"([^\"]+)\"";
private static Logger log = Logger.getLogger(ListenTest.class);
public void startListenLogOfCurrentDay() {
try {
if (raf == null)
raf = new RandomAccessFile(
"/tmp/logs/localhost_access_log.2010-12-20.txt",
"r");
String line;
while (true) {
raf.seek(lastPosition);
while ((line = raf.readLine()) != null) {
if (!line.matches(logEntryPattern)) {
// not a complete line,roll back
lastPosition = raf.getFilePointer() - line.getBytes().length;
log.debug("roll back:" + line.getBytes().length + " bytes");
if (line.equals(""))
continue;
log.warn("broken line:[" + line + "]");
Thread.sleep(2000);
} else {
// save it
LogEntry le = LogParser.parseLog(line);
LogEntryDao.saveLogEntry(le);
lastPosition = raf.getFilePointer();
}
}
}
} catch (FileNotFoundException e) {
log.error("can not find log file of today");
} catch (IOException e) {
log.error("IO Exception:" + e.getMessage());
} catch (InterruptedException e) {
e.printStackTrace();
}
}
public static void main(String[] args) {
new ListenTest().startListenLogOfCurrentDay();
}
}
さて、私の問題は、ファイルの新しい行に書き込まれている行が完了していない場合、デッドループが発生することです。
たとえば、Tomcatがファイルに新しい行を書き込もうとした場合:
10.33.2.45 - - [08/Dec/2010:08:44:43 +0800] "GET /poi.txt HTTP/1.1" 200 672 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8"
そして、行の一部だけが書き込まれる場合(例:< 10.33.2.45 --- [08 / Dec / 2010:08:44:43 +0800] "GET /poi.txt HTTP / 1.1" 200 672 >)、これで、定義したパターンと一致しないため、つまり、tomcatは書き込み作業を完了しないため、ファイルポインターをロールバックし、2秒間スリープしてから、もう一度読み取ります。
スリープ時間中、行の最後の部分はまだ書き込まれている可能性があります(実際、テスト用にTomcatではなく書き込みます)。私の意見では、randomaccessfileはパターンに一致する新しい行を読み取りますが、そうではないようです。
誰でもコードをチェックすることができますか?
注:ログファイルの形式は、次のように「結合」されます。
10.33.2.45 - - [08/Dec/2010:08:44:43 +0800] "GET /poi.txt HTTP/1.1" 200 672 "-" "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8"