こんにちは、ウェブサイトからダウンロードした要約がありますが、特別な文字が含まれていない場合があり、データベースに保存しようとしても問題はありません...
また、エラーが発生する場合もあります.Pythonはバイトエラーをエンコードできません.
これらの問題を回避するために .encode('ascii', 'ignore') を使用しますが、最終的にそれらの特殊文字は保存されません...すべての文字を問題なく保存するには何を使用すればよいですか??
アレックスが述べたように、最初にファイルがどのようにエンコードされているか ( response.encoding
scrapy で) を決定する必要があります。UTF-8 を想定すると、単純.encode('utf-8')
に 、または Python でサポートされているその他のエンコーディングのいずれかになります。
また、データを格納しようとしているテーブルがその特定のエンコーディングを受け入れることを確認する必要があります。UTF-8 ストレージを有効にする方法の例については、この質問を参照してください。MySQL がサポートする他の文字セットも同様に使用できます。