問題タブ [mojibake]

シンプソンズのシーズン 12 エピソード 07「The Great Money Caper」で、私は数年前にロシアの宇宙船に「ちんぷんかんぷんな」標識があることに気付きました。今日、ランダムに、誰かがそれらをデコードしたかどうかを検索して確認することにしましたが、結果は見つかりませんでした.

Latin-1 または Windows-1252 として表示される KOI8-R ではないかと思います。私がつかむことができるイメージはあまり明確ではありません。

この Python 3 コード インタープリターの相互作用に示されているように、モジバケには 2 つの解釈があります。

ウィクペディアのコード表を見ても、「<」のような記号と「+」のような記号が何なのかわかりません。総当たり攻撃をして、ある種のスペルチェック辞書と照合することを考えましたが、最初に助けを求めたいと思います。

元のテキストまたは意味を復元できますか? それとも、本当にハズレですか？

（誰かがそれが何を言っているのか知っていればありがたいのですが、何らかのコードでこれを解決できるかどうかを知りたいです。）

編集：素朴なスクリプト：

誰かがこの問題に遭遇したかどうかはわかりません。問題を再現するための手順は次のとおりです。

手順: 1. リスト --> 担当者ページに移動します。2. [エクスポート] ボタンをクリックして、担当者リストの .XLS レポートを生成します。3. .XLS レポートを閉じて、連絡先リストなどの他のページに移動します。4. 連絡先リストで、[閉じる] ボタンをクリックして、[連絡先] リスト ページにリダイレクトします。

想定: - ページには連絡担当者リスト ページが表示される必要があります。

実際: - モジバキ文字を含む奇妙なページが表示されます。この URL の画像を参照してくださいhttp://i.imgur.com/dIsZc.png

アクティブ レポートを使用して Excel を生成するコードは次のとおりです。

private static void PushContentToHttp(ActiveReport report, MemoryStream msData, string fileName, string url) {

どんな助けでも大歓迎です！どうもありがとう！:)

でモジベイクされたID3タグを読んでいmutagenます。私の目標は、エンコーディングと Python の処理について学びながら、mojibake を修正することです。

作業中のファイルにはID3v2タグがあり、そのアルバム ( ) フレームを見ています。これは、 ID3 フレームTALBのエンコード バイトによると、 Latin-1 ( ) でエンコードされています。ただし、このフレームのバイトが(キリル文字) でエンコードされていることはわかっています。TALBISO-8859-1cp1251

これまでの私のコードは次のとおりです。

ご覧のとおり、mp3['TALB'].text[0]ここでは Unicode 文字列として表されています。ただし、モジベイクされています。

cp1251これらのバイトを正しい Unicode コードポイントにトランスコードすることはほとんどできません。これまでの私の最高の結果は、非常にふさわしくないものでした:

私がこのアプローチを理解しているように、Unicode 文字列を 8 ビット文字列に変換することになり、それを Unicode にデコードし、デコード元のエンコーディングを指定するため、うまくいきます。

decode('cp1251')問題は、Unicode 文字列を直接処理できないことです。

誰かがこれを説明できますか？ascii文字列を直接操作するときに、7 ビットの範囲にデコードしないようにする方法がわかりませんu''。

私はページを解析するためにpyqueryを使用しています：

しかし、私が取得するのcontentは、utf-8でエンコードされたコンテンツを含むUnicode文字列です。

strコンテンツを失うことなく、どうすれば変換できますか？

明確にするために：

が欲しいですconent == '\xe5\xb1\x82\xe5\x8f\xa0\xe6\xa0\xb7\xe5\xbc\x8f\xe8\xa1\xa8'

いいえconent == u'\xe5\xb1\x82\xe5\x8f\xa0\xe6\xa0\xb7\xe5\xbc\x8f\xe8\xa1\xa8'

私はMySQLデータベースからのエクスポートを受け取りました。これは、時間の経過とともにエンコーディングが多少混乱したようで、 や などの同じ文字を表すより問題のある文字が混在してHTML char codesい& uuml;ます。ファイルにある程度の一貫性を戻し、すべてを正しいラテン文字に変換するのが私の仕事です。üÃúó

私が扱っている種類の文字列の例は

Desinfektionslãsungstãƒâ¼cher fãâ¼r Flãâ¤chen

に等しくする必要があります

üC#/.Net 4.5 で、やÃtoなどを正常に再エンコードする方法はありUTF-8ますか?

それ以外の場合、どのようなアプローチが推奨されますか?

また¶、上記の例の文字列の段落文字は、実際の段落文字ですか、それとも他の文字の組み合わせの一部ですか?

以下の検索と置換を行う必要がある場合に備えて、ルックアップテーブルを作成しましたが、それがどの程度完全かはわかりません。

Netbeans は本当に Unicode (UTF-8) をサポートしていますか、それとも英語以外の言語を本当にサポートしていますか?

私は Java と Netbeans で少し遊んでみましたが、いくつか問題がありました。Javaの問題だと思うかもしれませんが、そうは思いません。

1. ファイルをエンコーディングから UTF-8 に変換する必要がありましたが、JEdit (シンプルなテキスト エディター) と多くのシンプルなテキスト エディターがデフォルトでサポートしているため、非常に簡単だと思いました。悲しいことに、何らかのプラグインがなければ、Netbeans では不可能であることがわかりました。このバグのようなものを参照してください。驚いたのであきらめて、JEdit に戻りました。

2. 数日後、もう一度試してみますが、この他のバグと同様の問題が発生しましたが、代わりにポルトガル語で発生しました (分音記号は機能しません)。は、jar ファイル名でçに置き換えられていました。_プロジェクトのプロパティでファイル名を手動で修正する必要がありました。わかりました、そのパス。

3. 再び 2) で説明した問題ですが、現在、既知のMojibakeという用語は、jar ファイル内のファイル名をナビゲートする際に見られるものであり、MANIFEST.MF ファイルでは ,çãに置き換えられていました。çã

すべてのプロジェクトを UTF-8 にするべきだとは言わなかったのですか? では、なぜ「彼ら」が作成した MANIFEST.MF はそうではないのでしょうか。

環境

• ネットビーンズ: 7.3
• JDK: 7 アップデート 17
• OS: Windows7
• ロケール: Português (ブラジル)

アップデート

dist/ フォルダーの下に生成された README.TXT にも同じ問題があります。しかし、現在、netbeans では小さな正方形として表示されます。

プロジェクトで指定されたエンコーディングを確認しましたが、少なくともソースは UTF-8 のようです。私のネットビーンズでは、プロジェクトのプロパティ>「Códigos-fonte」、次に「Codificação」（エンコーディング）にあります。

ソリューション

米国英語への翻訳

• Java 開発環境に関係するすべてのものを米国英語に翻訳します。
• 自分自身に英語を教え始め、おそらく他の人にも英語を教え始めます。

Bat ファイルを使用してアプリケーションをビルドする

注: 私の環境でテストしたところ、動作します。

Netbeans を使用してファイルを編集できます。それを使用して何もビルドせずに、ソース ファイルを編集するだけです。

これは非常に単純な例なので、次から始めることができます (UTF-8 で保存することを忘れないでください)。

C:\プロジェクト フォルダー内\builder.bat

結論

非常に多くの機能を備えた非常に優れた IDE ですが、なぜこれが必要なのですか?

Windows でも Unicode は新しいものではありません...

1 つのプロジェクトを 1 つの言語で維持することの難しさを本当に理解しています。だから、それを読んでいる開発者には申し訳ありませんが、私はそれを否定的に批判しているわけではありません.

こちらもご覧ください

単純なテキスト エディターの場合 (そこに JEdit があります): https://stackoverflow.com/questions/1182071/lightweight-java-ide。

これがあまり具体的な質問ではないことを願っています...どんな考えでも大歓迎です。

誰かがコンタクト フォーム (UTF-8 エンコード) に記入すると、データは MySQL データベースに正しく入力され (全体で UTF-8 エンコード)、フォームに記入した人に返信メールが送信されます (これも UTF-8 エンコード)。

データが英語で入力されていれば、すべて問題ありません。データが日本語で入力されている場合、文字はデータベースで正しくレンダリングされ、返信メール (データベースから姓と名を取得し、完全に日本語で書かれている) も正しくレンダリングされます。大丈夫ですよね？

ただし、通常は漢字を正しく表示するアドレスに送信した場合でも、返信メールが文字化けとして表示されることがあります。

エラーを再現することはできませんでしたが、クライアントが返信メールのスクリーンショットを送信したため、エラーが発生したことはわかっています。他の誰かがこの問題に遭遇しましたか? 私は少し途方に暮れています。メールの送信にはSendmailというソフトを使っています。

ありがとう

Unicode と utf8 に関して深刻な問題が発生しました。アラビア語/ペルシャ語のテキスト ファイルの段落をメモ帳に保存して保存したところ、次のような情報が表示されました。

私の質問は、データを取り戻す方法です。このデータを取り戻すことが重要です。事前に感謝します

gh-pages はテキストファイルをモビベイクしています。. . 私たちの CI ビルド サーバーは、いくつかのビルド アーティファクトを gh-pages にコピーします。

ローカルでは、ファイル エンコーディングが UTF-8 であることを確認できます。ファイルをダウンロードして開くと、テキスト エディタで問題なくレンダリングされます。

ただし、Safari、Firefox、および Chrome では、特殊文字 (チェックマーク、チェックマークなど) が文字化けしています。正しいファイル エンコーディングを使用するように指示するにはどうすればよいですか?

いくつかの基になる vba コードを使用して、ワークブックを開発しました。ワークブックはヘブライ語で書かれており、vba コードもヘブライ語を使用しています。たとえば、ヘブライ語の文字列を比較したり、ヘブライ語の名前を使用してシートにアクセスしたりします。このブックを Excel 2010 で作成し、xlsm ファイル (マクロを有効化) として保存しました。Excel 2007がインストールされている特定のPCを除いて、さまざまなマシンやExcelバージョンですべてうまく機能します。問題は、vba コードで使用したヘブライ語の文字列が適切にデコードされず、意味不明に見えることです。ワークブック自体 (つまり、セルまたはシート名) 内のヘブライ語のテキストはまったく問題ありませんが、VBA コード自体で使用しているテキストだけが正しく読み取られないようです。私がやりたいことは、ワークブックが開かれると、エンコード/デコードを適切に自動的に設定することです.

こことここをもう少し読んだ後、システムロケールがヘブライ語ではない場合にこれが発生することに気付きました。私が書いたヘブライ語のテキストが機能するように、vba コードを使用して (つまり、OS レベルで変更しないで) Excel でのみ動的に設定できますか? それ以外の場合は、vba コードからヘブライ語のテキストをすべて削除する必要があります。