2

Pandas で csv ファイルをインポートしようとしていますが、エラーがスローされます。notepad++ で開いたときのデータの形式は次のとおりです。最初の行は列名です。

"End Customer Organization ID,End Customer Organization Name,End Customer Top Parent Organization ID,End Customer Top Parent Organization Name,Reseller Top Parent ID,Reseller Top Parent Name,Business,Rev Sum Division,Rev Sum Category,Product Family,Version,Pricing Level,Summary Pricing Level,Detail Pricing Level,MS Sales Amount,MS Sales Licenses,Fiscal Year,Sales Date"
"11027676,Baroda Western Uttar Pradesh Gramin Bankgfhgfnjgfnmjmhgmghmghmghmnghnmghnmhgnmghnghngh,4078446,Bank Of Barodadfhhgfjyjtkyukujkyujkuhykluiluilui;iooi';po'fserwefvegwegf,1809012,""Hcl Infosystems Ltd - Partnerdghftrutyhb frhywer5y5tyu6ui7iukluyj,lgjmfgnhfrgweffw"",Server & CALsdgrgrfgtrhytrnhjdgthjtyjkukmhjmghmbhmgfngdfbndfhtgh,SQL Server & CALdfhtrhtrgbhrghrye5y45y45yu56juhydsgfaefwe,SQL CALdhdfthtrutrjurhjethfdehrerfgwerweqeadfawrqwerwegtrhyjuytjhyj,SQL CALdtrye45y3t434tjkabcjkasdhfhasdjkcbaksmjcbfuigkjasbcjkasbkdfhiwh,2005,Openfkvgjesropiguwe90fujklascnioawfy98eyfuiasdbcvjkxsbhg,Open Lklbjdfoigueroigbjvwioergyuiowerhgosdhvgfoisdhyguiserhguisrh,""Open Stddfm,vdnoghioerivnsdflierohgushdfovhsiodghuiohdbvgsjdhgouiwerho"",125.85,1,FY07,12/28/2006"
"12835756,Uttam Strips Pvt Ltd,12835756,Uttam Strips Pvt Ltd,12565538,Redington C/O Fortis Financial Services Ltd,MBS,Dynamics ERP,Dynamics NAV,Dynamics NAV Business Essentials,Non-specific,Other,MBS SA,MBS New Customer Enhanc. Def,0,0,FY09,9/15/2008"
"12233135,Bhagwan Singh Tondon,12233135,Bhagwan Singh Tondon,2652941,H B S Systems Pvt Ltd,Server & CAL,SQL Server & CAL,SQL CAL,SQL CAL,Non-specific,Open,Open L&SA,Deferred Open L&SA - New,0,0,FY09,9/15/2008"
"11602305,Maya Academy Of Advanced Cinematics,9750934,Maya Entertainment Ltd,336146,Embee Software Pvt Ltd,Server & CAL,Windows Server & CAL,Windows Server HPC,Windows Compute Cluster Server,Non-specific,Open,Open V/MYO - Rec,OLV Perpet L&SA Recur-Def,0,0,FY09,9/25/2008"
"13336009,Remiel Softech Solution Pvt Ltd,13336009,Remiel Softech Solution Pvt Ltd,13335482,Redington C/O Remiel Softech Solutions Pvt Ltd,MBS,Dynamics ERP,Dynamics NAV,Dynamics NAV Business Essentials,Non-specific,Other,MBS SA,MBS New Customer Enhanc. Def,0,0,FY09,12/23/2008"
"7872800,Science Application International Corporation,2839760,GOVERNMENT OF KARNATAKA,10237455,Cubic Computing P.L,Server & CAL,SQL Server & CAL,SQL Server Standard,SQL Server Standard Edition,Non-specific,Open,Open SA/UA,Deferred Open SA - Renewal,0,0,FY09,1/15/2009"
"13096361,Pratham Software Pvt Ltd,13096361,Pratham Software Pvt Ltd,10133086,Krap Computer,Information Worker,Office,Office Standard / Basic,Office Standard,2007,Open,Open L,Open Std,7132.44,28,FY09,9/24/2008"
"12192276,Texmo Precision Castings,12192276,Texmo Precision Castings,4059430,Quadra Systems. - Partner,Server & CAL,Windows Server & CAL,Windows Standard Server,Windows Server Standard,Non-specific,Open,Open L&SA,Deferred Open L&SA - New,0,0,FY09,11/15/2008"

csv 形式でダブルクリックすると同じファイルが Excel で開かれ、コンマ区切りの値が表示されますが、notepad++ に示すように各行に引用符はありません。

次のエラーが発生する UTF-8 としてエンコーディングを使用しました。

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x91 in position 13: invalid start byte

次に、最初に encoding='cp1252' を使用してから、latin1 で試しました。

df=pd.read_csv(filename,encoding='cp1252') 

or 

df=pd.read_csv(filename,encoding='latin1')

両方のエンコーディングでエラーは発生せず、データはインポートされましたが、異なる列ではなく 1 つの列としてインポートされました。

データの各行の前にある "" マークと関係がありますか? コンマで区切られた値を持つ同様の csv ファイルがありましたが、各行に二重引用符がなく、cp1252 と latin1 の両方で正しくインポートされました。ただし、ファイルがメモ帳++でutf8形式で保存されていても、UTF-8用ではありません。ただし、この場合、utf8 は通常どおり機能せず、他の 2 つはそれを単一の列としてインポートします。

お知らせ下さい。

ありがとう

4

1 に答える 1

0

引用符により、内部のすべてのコンマがエスケープされたと解釈されると確信しています。したがって、それらをすべて削除する必要があります。これは比較的簡単に行うことができますが、ユニコードの問題があるため、私は夢中になり、それを読み込んで引用符を取り除き、使用するファイルに書き込むことをお勧めしますread_csv(エンコーディングの問題を簡素化するため)。

ファイルに書き込み、引用符を取り除き、新しいファイルに書き込み、read_csv で読み込む方法は次のとおりです。

with open(filename) as infile, open(tmpfile, 'wb') as outfile:
    for line in infile:
        outfile.write(line.strip('"'))

result = pd.read_csv(tmpfile, encoding='cp1252')

一時ファイルの読み込みが完了したら、一時ファイルも削除することをお勧めします。

上記のようにすることをお勧めする理由は、StringIO バッファーに渡すときにエンコード/デコードを処理することを避けることができるためです。Python と pandas の両方で気難しいことがあります。

于 2013-10-21T05:02:37.520 に答える