問題タブ [python-unicode]

urllib と BeautifulSoup の次のコードがあります。

その結果：

そして、サイトを読もうとすると、次のようになります。

試してみる：

しかし、名前または姓が外国語のアクセント付き文字（Unicode？）の場合、ユーザーのレコードにゴミが入ります。

私に何ができる？

最初の投稿ですので、親切にしてください。私はたくさん検索しましたが、見つかったほとんどのものは Python 2 に関連しています。

ファイル リストから zip ファイルを作成する Python3 スクリプトがあります。スクリプトが crontab から実行された場合にのみ UnicodeEncodeError で失敗しますが、対話型コンソールから実行された場合は問題なく動作します。環境に何かがあるに違いないと思いますが、何が何であるかを理解できないようです。

これはコードの抜粋です：

これは、このコード フラグメントのログ出力です。

これはcrontab行です：

そして、これは runbackup.sh の内容です:

例外が発生するファイルは常に同じですが、非ASCII文字は含まれていないようです:

OS は Ubuntu Linux LTS 10.04、Python バージョン 3.2 (他の Python バージョンと altinstall としてサイド バイ サイドでインストール) です。すべての Python ソース ファイルには、このシバンがあります。

一番最初の行として

何が問題なのか、この問題を解決する方法を見つけるのを手伝ってもらえますか?

Ubuntu12.04LTSを使用しています。ターミナルでこのようなことを試してみると：

記号は正しく表示されます。しかし、Python 2.7を使用してUnicodeシンボルを印刷しようとすると、次のようになります。

Pythonが示すように、ターミナルにはデフォルトでutf-8エンコーディングがあります。

私はこのような機能を持っています:

アラビア語と英語の数字をすべてペルシア語に翻訳したい. しかし、Python は次のように述べています。

文字列を Unicode でエンコードしようとしましutf-8たが、常にエラーが発生しました。場合によっては、代わりにアラビア語の文字列が問題になることがあります。この仕事のためのより良い解決策を知っていますか?

編集：

問題は、ASCII の Unicode 文字の長さにあるようです。'۱' のようなアラビア数字は 2 文字です。これは でわかりますord()。そして、長さの問題はここから始まります:-(

私はちょうどPCを仕事に残し（Python 2.7を使用）、ちょうど完成したばかりのスクリプトを持っていました（以下に再現）。それは仕事でうまくいきました、私はただ1つか2つのものを追加したかったです。しかし、家に帰ってMacバージョンのPython（3.2.2）を使用していると、次のエラーが発生します。

私のコードはここにあります：

私は、MySqlデータベースに基づいてmongoコレクションを作成するためのPythonスクリプトに取り組んでいます。問題はマイクロサイン文字にあります：

異なるコード（utf-8、latin-1、cp1252、iso-8859-2）で値をエンコード/デコードしようとしましたが、成功しませんでしたが、常に次のエラーが発生します。

これは、mysqlデータベースからデータを取得するためのコードです。データベースはUSDAのものです 0：

マイクロサイン文字のフィールドはnutdef.Units1です。

Jython 2.5.1で、Windows 7マシンで正常に動作するプログラムを作成しましたが、日本のマシンでは、「不明なエンコーディング'ms932'」という例外がスローされます。

codecs.javaが不明なエンコーディングの「xyz」メッセージを出力する唯一のモジュールであることがわかりました

このファイルは、を含むaliases.pyをロードします

ファイルcp932.pyには次のものが含まれています

しかし、.. _codecs_jpは、このページでも説明されているように存在しません。 誰かがここからどこに行くべきか手がかりを持っていますか？

http://web.archiveorange.com/archive/v/8tc1Zc2rV3qiUcy9zPlA

以下はサンプルコードです。目的は、特定のフォルダーとそのサブフォルダーのテキストファイルをマージすることです。私はときどきトレースバックを取得しているので、どこを見ればよいかわかりません。空白行がマージされないようにコードを強化し、マージ/マスターファイルに行を表示しないようにするための助けも必要です。おそらく、ファイルをマージする前に、クリーンアップを実行するか、マージプロセス中に空白行を無視することをお勧めします。

フォルダ内のテキスト ファイルは 1000 行を超えませんが、マスター ファイルを集約すると 10000 行以上を簡単に超える可能性があります。

SOメンバーの助けを借りて、次のように到達することができました。以下はサンプルコードです。目的は、特定のフォルダーとそのサブフォルダーからテキストファイルをマージし、出力をmaster.txtとして保存することです。しかし、私は時々トレースバックを取得しています。ファイルの読み取り中にエラーがスローされるようです。

提案、入力、およびいくつかの調査を考慮して、均一なユニコードでテキストファイルをクリーンアップするか、行ごとの関数を使用することをお勧めします。そのため、各行の読み取りでは、ゴミ文字と空行を削除する必要があります。

私が得るトレースバック：