1

スタック オーバーフローで見られるように、 iter_loadtxt を使用して> 600MB のテキスト ファイルをロードしています。ファイルを生成するプログラムが、テキスト ファイルと iter_loadtxt barfs に不適切な書き込みを行うことがあります。

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "jpk_outfile_to_LOG_timeV4.py", line 296, in makeLOGtimefile
    a=readjpk(filename,lateral,vertical,xpos)
  File "jpk_outfile_to_LOG_timeV4.py", line 107, in readjpk
    a=iter_loadtxt2( filename,delimiter=" ",skiprows=7)
  File "jpk_outfile_to_LOG_timeV4.py", line 58, in iter_loadtxt2
    data = np.fromiter(iter_func(), dtype=dtype)
  File "jpk_outfile_to_LOG_timeV4.py", line 55, in iter_func
    yield dtype(item)
*605.6998r: invalid literal for float(): -1.5005492E-5

私の解決策は、dtype を置き換える例外を追加しようとすることですが、これは機能しません。助言がありますか?

#==============================================================================
# credit to joe kington on stackoverflow:
# https://stackoverflow.com/questions/8956832
#==============================================================================
def iter_loadtxt2(filename, delimiter=' ', skiprows=6, dtype=float):
    def iter_func():
        with open(filename, 'r') as infile:
            for _ in range(skiprows):
                next(infile)
            for line in infile:
                line = line.rstrip().split(delimiter)
                for item in line:
# added try/except/else to this loop, originally only had yiled dtype(item)
                    try:                    
                        yield dtype(item)
                        a=dtype(item)
                    except:
                        print "fail"
                    else:
                        yield a

        iter_loadtxt.rowlength = len(line)

    data = np.fromiter(iter_func(), dtype=dtype)
    data = data.reshape((-1, iter_loadtxt.rowlength))
    return data
4

0 に答える 0