問題タブ [windows-1252]

これは奇妙なビットです。localhost:3000 を実行すると、以下にリストされているエラーが表示されます。

ただし、localhost:3000/en/#actionName を実行すると、他のページがレンダリングされます。

localhost:3000 は index.html.erb をレンダリングするため、テスト目的でのみ index.html.erb の内容を削除しました。レイアウトをレンダリングしました。では、index.html.erb ページのコンテンツの何が問題になっているのでしょうか? すべて問題ないように見えますが、サーバーから index.html.erb のコンテンツをダウンロードしました (動作中のバージョン) でも、同じエラーが発生します。私が間違っていたかもしれないいくつかのガイダンスが必要です。このリンクRuby on Rails 3, incompatible character encodings: UTF-8 and ASCII-8BIT with i18n に記載されている解決策を試しましたが、まったく運がありませんでした。

前もって感謝します。

以下にリストされている理由: ただし、別の質問が表示されます。なぜ、これらのソース コードを追加すると、index.html.erb に対してのみこのようなエラーが生成されるのかということです。

Windowsでは、.NET経由でEncoding.GetEncoding（ "Windows-1252"）を使用して、"Windows-1252"コードページエンコーディングを取得できます。残念ながら、この呼び出しはWindows Phone 8エミュレーターでArgumentExtceptionをスローし、エンコード名が無効であることを指定します。私はMSDNを見回しましたが、有用なものは何も見つかりませんでした。Windows Phone 8で使用できるエンコーディングと、「Windows-1252」エンコーディングの新しい名前を知っている人はいますか？

そして、はい、私は「iso-8859-1」エンコーディングを使用し、129-159の範囲の文字を手動で置き換えるという代替オプションを知っています。しかし、可能であればそれを避けようとしています。

どうもありがとう、マイケル

UTF-8との互換性を維持しながら、エンコードが不明なアップロードされたファイル名をWindows-1252に変換する必要があります。

これらのファイルをコントローラー（影響力はありません）に渡すとき、ファイルはWindows-1252でエンコードされている必要があります。次に、このコントローラーは、MySQLを介してデータベースに保存される有効なファイル（名前）のリストを再度生成します。したがって、UTF-8との互換性が必要です。コントローラに渡されるファイル名とデータベースに書き込まれるファイル名は一致する必要があります。ここまでは順調ですね。

まれに、「Windows-1252」に変換する場合（文字「ï」など）、UTF-8では文字が無効なものに変換されます。次に、MySQLはそれらの無効な文字を削除します。その結果、ディスク上のファイル名とデータベースに保存されているファイル名は一致しなくなります。時々失敗するこの変換は、単純な再コーディングで達成されます。

変換によって無効な文字が生成されるのを防ぐために、再コード化された文字列からすべての無効なUTF-8文字を再度削除できます。

ただし、これにより、文字列に残っている特殊文字が完全に削除/再コード化されます。たとえば、ドイツ語ではかなり規則的な「äöüÄÖÜ」などをすべて失います。

（有効な特殊文字を失うことなく）Windows-1252にエンコードするためのよりクリーンで簡単な方法をご存知の場合は、お知らせください。

どんな助けでも大歓迎です。前もって感謝します！

私のアプリケーションは、TCP 経由で ISO 8859-1 文字の整数値を受信し、テスト用にコンソールに表示する必要があります。Int/Bytes を ISO 8859-1 文字列に変換するために、この質問の受け入れられた回答からコードを取得しました。

たとえば、ISO 8859-1の½である189の値で問題なく動作します。しかし、私のテストでは、このサイトによると、値がš (キャロン付きのラテン小文字 S)のバイトを取得しました。 問題は、コンソールに表示されず、そのような疑問符が表示される だけで、デバッガーにはプレーンな文字列しか表示されないことです:エラーの可能性は何ですか? どんな助けでも大歓迎です。154

タイトルが示唆しているように、私が抱えている問題は、Pythonでwindows-1252でエンコードされたファイルから入力を正しく読み取り、その入力をSQLAlchemy-MySqlテーブルに挿入することです。

現在のシステム設定:
ファイルを出力する「Roger Access Control System」を備えた Windows 7 VM。
「Python 2.7.3」を使用してファイルにアクセスできるように、Windows システムへの共有フォルダーを持つ Ubuntu 12.04 LTS VM。

実際の問題として、入力ファイルとして、Roger Access Control System (詳細については roger.pl) を介して Windows 7 システムで生成されるファイルを含む「VM 共有フォルダー」があります。このファイルは「 PREvents.csv」は、その内容に「;」を示唆しています。区切られたデータのリスト。

データのフォーマット例:

4 番目のフィールドにはカード所有者の名前が含まれ、5 番目には所有者の姓が含まれ、6 番目には所有者が割り当てられたグループが含まれます。

この問題は、上記の 3 つのフィールドのいずれかにラトビア語固有の文字が含まれる可能性があるという事実に起因します。例のファイルでは、「Jānis」という単語に文字「ā」が含まれており、Unicode では 257 です。

慣れているように、次のようにファイルを開きます。

これまでのところ、すべてが機能しています-ファイルが開かれるので、ファイルの各行を繰り返し処理します（これは継続的に実行されるスクリプトなので、ループを許してください）：

そして、これが問題の始まりです。私が理解している限り、正しくないprint repr(firstname)出力が表示された場合u'J\xe2nis'、「\xe2\」はラトビア文字の「ā」を表していません。
イベントの種類に応じて、ループをさらに下って、変数を SQLAlchemy オブジェクトに割り当て、挿入/更新します。

答えを探す中で、使用するデフォルトのエンコーディングを定義する方法を見つけました。

それは私をまったく助けませんでした。

基本的に、これはすべて、ラトビア固有の文字が含まれている場合、所有者に割り当てられたグループ名だけでなく、正しい所有者の姓/名を挿入できないことにつながります。次に例を示します。

また、「PREvents.csv」ファイルのエンコーディングを変更することはできず、「RACS」システムは UTF-8 または Unicode ファイルへの挿入をサポートしていないことも付け加えたいと思います。ラトビア固有の文字。

他の情報が必要な場合は、今すぐお知らせください。喜んで提供します:)

どんな助けでも大歓迎です。

CP1242 でサポートされている言語のリストを入手できる公式サイトは何ですか

ユーザーがブラウザにドロップしたファイルを解析する小さな JavaScript アプリケーションがあります。最近、英語以外の文字の問題を発見しました。ñここにドロップされたファイル タイプは Windows- 1252文字セットを使用しているñため、.

たとえば、どちらがスペイン語Señorであるべきかを取得します。Señor

キャラクターのコレクションと、変換する必要がある対応するキャラクターを含む非常に便利な Web サイトを見つけました。

これを 2 つの JavaScript 配列に要約しました。

toReplaceの段落のすべての文字をの対応する (同じインデックス) に置き換える最も効率的な方法は何replaceWithですか?

このアプリケーションに 100 個を超えるファイルをドロップすることは珍しくなく、すでにいくつかの重いループと解析を行っているため、これがループの負荷が大きくなりすぎないことを願っています。

これらの文字を配列に保持する代わりに、これを行うためのより良い方法があるのではないでしょうか?

編集- 代わりに unicode equivilent に置き換える必要があるかもしれないことに気付きました。以下は、同じ順序での Unicode 文字の配列です。

私が開発しているブラウザー拡張機能では、jQuery を使用して XHR 要求を実行してデータをロードしています。

リモートでロードされたデータは、Windows-1252 でエンコードされた CSV ファイルであり、Content-disposition:attachment を使用し、mime-type/charset ヘッダーを使用せずに提供されます (バックエンドを制御できないため、修正できません)。

どうすればブラウザが応答を utf-8 ではなく windows-1252 としてデコードするように強制できますか?

私はいくつかのグーグルをしましたが、明確な答えを見つけることができませんでした（おそらく正しい用語を使用していませんか？）

とにかく、C++ プログラムで処理したい ANSI 形式 (WCP-1252) のテキスト ファイルがいくつかありますが、10 進コード 128 から念のために、次のコードを試しました。

当然のことながら、1 バイトの char は 0x7F の後に拡張セットからのシンボルを格納できませんでした (最初のバイトの値に対応する ASCII シンボルを表示し、2 番目のバイトを破棄しただけだと思います)。