6

以下はサンプルコードです。目的は、特定のフォルダーとそのサブフォルダーのテキストファイルをマージすることです。私はときどきトレースバックを取得しているので、どこを見ればよいかわかりません。空白行がマージされないようにコードを強化し、マージ/マスターファイルに行を表示しないようにするための助けも必要です。おそらく、ファイルをマージする前に、クリーンアップを実行するか、マージプロセス中に空白行を無視することをお勧めします。

フォルダ内のテキスト ファイルは 1000 行を超えませんが、マスター ファイルを集約すると 10000 行以上を簡単に超える可能性があります。

import os
root = 'C:\\Dropbox\\ans7i\\'
files = [(path,f) for path,_,file_list in os.walk(root) for f in file_list]
out_file = open('C:\\Dropbox\\Python\\master.txt','w')
for path,f_name in files:
    in_file = open('%s/%s'%(path,f_name), 'r')

    # write out root/path/to/file (space) file_contents
    for line in in_file:
        out_file.write('%s/%s %s'%(path,f_name,line))
    in_file.close()

    # enter new line after each file
    out_file.write('\n')

with open('master.txt', 'r') as f:
  lines = f.readlines()
with open('master.txt', 'w') as f:
  f.write("".join(L for L in lines if L.strip())) 



Traceback (most recent call last):
  File "C:\Dropbox\Python\master.py", line 9, in <module> for line in in_file:
  File "C:\PYTHON32\LIB\encodings\cp1252.py", line  23, in decode return codecs.charmap_decode(input,self.errors,decoding_table)[0]  
UnicodeDecodeError: 'charmap' codec can't decode byte 0x81 in position 972: character maps to <undefined>
4

2 に答える 2

16

Python 3 がコンテンツと一致しないデフォルトのエンコーディングでファイルを開くため、エラーがスローされます。

ファイルの内容をコピーするだけの場合は、ファイルをバイナリ モードで開くと共にshutil.copyfileobj()関数を使用することをお勧めします。そうすれば、エンコーディングの問題を完全に回避できます (もちろん、すべてのソース ファイルが同じエンコーディングである限り、エンコーディングが混在するターゲット ファイルになってしまうことはありません)。

import shutil
import os.path

with open('C:\\Dropbox\\Python\\master.txt','wb') as output:
    for path, f_name in files:
        with open(os.path.join(path, f_name), 'rb') as input:
            shutil.copyfileobj(input, output)
        output.write(b'\n') # insert extra newline between files

os.pathコンテキスト マネージャーを使用して (完了時にファイルが自動的に閉じられるように) 、ファイルのフル パスの作成に使用するために、コードを少しクリーンアップしました。

入力を 1 行ずつ処理する必要がある場合は、ファイルの内容を Python 文字列オブジェクトにデコードできるように、Python に期待するエンコーディングを伝える必要があります。

open(path, mode, encoding='UTF8')

これには、ファイルが使用するエンコーディングを事前に知っておく必要があることに注意してください。

Python 3、ファイル、エンコーディングについてさらに質問がある場合は、 Python Unicode HOWTOを読んでください。

于 2012-08-31T10:21:10.437 に答える