0

tar.gzファイル内の一連のログファイル（最大4GiB）を解析しようとしています。ソースファイルはRedHat5.8サーバーシステムとSunOS5.10からのものであり、処理はWindowsXPで実行する必要があります。

tar.gzファイルを反復処理し、ファイルを読み取り、ファイルの内容をUTF-8にデコードし、さらに処理する前に正規表現で解析します。

tar.gzから読み取られた生データと一緒に処理されたデータを書き出すと、次のエラーが発生します。

Traceback (most recent call last):
  File "C:\WoMMaxX\lt_automation\Tools\LogParser.py", line 375, in <module>
    p.analyze_longtails()
  File "C:\WoMMaxX\lt_automation\Tools\LogParser.py", line 196, in analyze_longtails
    oFile.write(entries[key]['source'] + '\n')
  File "C:\Python\3.2\lib\encodings\cp1252.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode characters in position 24835-24836: character maps
to <undefined>

ログファイルを読み取って解析する部分は次のとおりです。

def getSalesSoaplogEntries(perfid=None):                
        for tfile in parser.salestarfiles:
            path = os.path.join(parser.logpath,tfile)            
            if os.path.isfile(path):
                if tarfile.is_tarfile(path):
                    tar = tarfile.open(path,'r:gz')
                    for tarMember in tar.getmembers():
                        if 'salescomponent-soap.log' in tarMember.name:
                            tarMemberFile = tar.extractfile(tarMember)
                            content = tarMemberFile.read().decode('UTF-8','surrogateescape')

                            for m in parser.soaplogregex.finditer(content):
                                entry = {}
                                entry['time'] = datetime(datetime.now().year, int(m.group('month')), int(m.group('day')),int(m.group('hour')), int(m.group('minute')), int(m.group('second')), int(m.group('millis'))*1000)
                                entry['perfid'] = m.group('perfid')
                                entry['direction'] = m.group('direction')
                                entry['payload'] = m.group('payload')
                                entry['file'] = tarMember.name
                                entry['source'] = m.group(0)
                                sm = parser.soaplogmethodregex.match(entry['payload'])
                                if sm:
                                    entry['method'] = sm.group('method')

                                    if entry['time'] >= parser.starttime and entry['time'] <= parser.endtime:
                                        if perfid and entry['perfid'] == perfid:
                                            yield entry
                        tar.members = []

そして、これが私が処理された情報を生データと一緒に書き出す部分です（1つの特定のプロセスのすべてのログエントリの集約です：

if len(entries) > 0:
    time = perfentry['time']
    filename = time.isoformat('-').replace(':','').replace('-','') + 'longtail_' + perfentry['perfid'] + '.txt'
    oFile = open(os.path.join(parser.logpath,filename), 'w')
    oFile.write(perfentry['source'] +'\n')
    oFile.write('------\n')
    for key in sorted(entries.keys()):
        oFile.write('------\n')
        oFile.write(entries[key]['source'] + '\n') #<-- here it is failing

私が得られないのは、UTF-8でファイルを読み取ることが正しいように見える理由です。単に、UTF-8としてファイルを書き出すことはできません。私は何が間違っているのですか？

4

1 に答える 1

1

出力ファイルは、UTF-8ではないOSのデフォルトのエンコーディングを使用しています。codecs.openの代わりに使用して、openを指定しますencoding='utf-8'。

oFile = codecs.open(os.path.join(parser.logpath,filename), 'w', encoding='utf-8')

http://docs.python.org/howto/unicode.html#reading-and-writing-unicode-dataを参照してください

于 2012-09-19T15:06:50.673 に答える