問題タブ [mojibake]

かなり大きな UTF-8 ファイルを Z/OS データセットに送信しようとしています。残念ながら、コマンド

で応答します

RECFM=VB動作しないようです。

回避策は、アップロード前に UTF-8 を ISO-8859-1 に再コード化することですが、アップロード中にエンコードする方が効率的です。

mojibakes が含まれている xml タグであった文字列があります。
<Applicant_Place_Born>Ð&#156;оÑ&#129;ква</Applicant_Place_Born>

まったく同じ文字列ですが、正しいエンコーディングは次のとおりです。
<Applicant_Place_Born>Москва</Applicant_Place_Born>

これは、Tcl ユーティリティを使用して適切な文字列に変換できるためです。

これのさまざまなバリエーションを試しました：

しかし、文字の代わりに他の文字化けやクエスチョン マークが常に表示されます。

Q: Java コードを使用して、Tcl と同じことを行うにはどうすればよいですか?

編集：

@Joop Eggenのアプローチを試しました：

変換された文字列は中国語でした:

JVM encoding: CP1251 Original text: Москва Result: 킜킾톁킺킲킰

データベースの 1 つをあるホスト (home.pl) から別のホスト (新しく設定したサーバー) に転送しようとしています。転送しようとしているスクリプトはワードプレスです。残念ながら、使用した方法に関係なく、エンコードの問題に苦しんでいます。

新しいホスト構成

私の新しいサーバーでは、my.cnf で次のディレクティブを使用しています。

私のmySQL変数：

新しいサーバー上の Php.ini:

古いホスト構成

データベースを転送しようとしている古いホストで SHOW VARIABLES を実行しましたが、次の結果が得られました。

試した転送方法

1) phpmyadmin 経由で転送

PHPMYADMIN エクスポート/インポートを使用してみました。特に、phpmyadmin を介したエクスポートとインポートの両方で、ファイル文字セットとして UTF-8 を指摘しました。

ソース サーバーの phpmyadmin と新しいホストの両方で奇妙なのは、洗練された文字が表示されないことです (出力は、洗練された文字がなくても同じです)。

2) mysql ダンプによるエクスポート/インポート

私も使用しようとしました：

しかし、エンコーディングも失敗します。

エンコーディング変数も使用しようとしましたが、失敗しました:

ダンプファイル

Programers Notepad を UTF-8 エンコーディング セットで使用した私のダンプ ファイルでは、文字は次のようになります。

それらをMicrosoft Wordで開く

エンコーディング コンバーター (gżegżółka) は、ファイルが C:\Users\mkondej001\Desktop\14271425_mk.sql にあることを認識します。

DBを転送する方法/サーバー変数を正しく設定する方法の手がかりはありますか?

データベース転送中の mojibake エラーを解決するために、mySQL データベースのエンコーディングを決定しようとしています (ここで説明されている問題: データベースの転送中のポリッシュ文字セットのエンコーディング エラー/サーバーのセットアップ)。

DB 転送を成功させるには、まず 元のデータベース エンコーディングを特定する必要があります。残念ながら、mySQL 構成から期待できるように、それが実際に UTF-8 であるかどうかはわかりません。

phpmyadmin によって (デフォルト設定を使用して) エクスポートされたファイルでは、UTF-8 エンコード設定を使用した notepad++ の文字は次のようになります。

Notepad++ で異なるスタイルを使用しても役に立たず、いつも奇妙な文字が表示されます。

phpmyadmin では、次のような洗練された文字が表示されます。

ソースサーバーの通常のWebページでは、<meta charset="UTF-8" />すべてが正しく表示されます。

データベースのエンコーディングを解決しようとしていますか? これはUTF-8ですか？はいの場合、なぜエディターはダンプされたデータを読み取ることができないのですか?

スペイン語のテキストを含む UTF-8 ファイルがあり、一部のソフトウェアでアクセント記号のある単語が正しく表示されません。

私のファイルは正しいと思います。たとえば、「JESÚS」という名前は としてエンコードされ4A 45 53 C3 9A 53ます。

c39ahttp://www.fileformat.info/info/unicode/char/00da/index.htm\u00daによると、は の正しい UTF-8 エンコーディングです。

では、一部のソフトウェアが正しくレンダリングしないのはなぜでしょうか?

エンコーディングの問題がある SQL データベースがあるため、次のような結果が返されます。

これは、UTF-8 にエンコードする必要があるときに、latin-1 にエンコードされたためです (間違っている場合は修正してください)。これらの結果を Python スクリプトで処理していますが、いくつかのエンコードの問題が発生しており、本来あるべき状態に戻すことができませんでした:

私は Python 3.3 を使用していますが、codecs.decode を使用して latin1 から utf-8 に変更すると、次のようになります。

見つけたものはすべて試してみましたが、役に立たなかったと思います。残りのスクリプトは 3.3 で書いたので、Python 2.7 に移行することにあまり熱心ではありません。私が気付いていないこれを行う方法はありますか？

HTMLページを読み込んでテキストを出力しようとしていますが、Webページを正しく取得しているにもかかわらず、BeautifulSoupが何らかの形でエンコーディングを破壊しています。

ソース：

抜粋出力:

これはOdenwälderischであるべきです