問題タブ [unicode]

実際に取り組んだプロジェクトで国際化 (i18n) をどのように実装しましたか?

私は Joel の有名な投稿、 The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!)を読んだ後、ソフトウェアを異文化に対応させることに興味を持ちました。ただし、可能であれば Unicode 文字列を確実に使用する以外に、実際のプロジェクトでこれを利用することはまだできていません。しかし、すべての文字列を Unicode にして、扱うすべてのもののエンコーディングを理解できるようにすることは、i18n の氷山の一角にすぎません。

私がこれまでに取り組んできたものはすべて、管理された米国英語を話す人々によって使用されるものでした。または、i18n は、プロジェクトを公開する前に取り組む時間がなかっただけです。そこで私は、実際のプロジェクトでソフトウェアをよりローカライズするためのヒントや戦争の話を探しています。

Windows コンソールで Unicode 文字列を出力しようとすると、エラーが発生します。

UnicodeEncodeError: 'charmap' codec can't encode character ....

これは、Windows コンソールが Unicode のみの文字を受け入れないためだと思います。これを回避する最善の方法は何ですか? ?この状況で失敗する代わりに、Python に a を自動的に出力させる方法はありますか?

編集: Python 2.5 を使用しています。

注：チェックマークが付いた@LasseV.Karlsenの回答は、時代遅れです（2008年以降）。以下の解決策/回答/提案を慎重に使用してください!!

@JFSebastianの回答は、今日（2016年1月6日）の時点でより関連性があります。

それが私のシステムかどうかはわかりませんが、異常なことはしていませんが、Webページやテキストファイルに誤ってレンダリングされた文字が次のようにポップアップすることに気付き始めました。

http://www.kbssource.com/strange-characters.gif

これは、可能なすべての文字をサポートしていないフォントと組み合わせて、すべてに Unicode を使用するというかなり最近の傾向に関連していると思います。

では、これらのブリップの原因を知っている人はいますか (私は正しいですか?)、自分のコンテンツにこれが表示されないようにするにはどうすればよいですか?

WindowsでopenglにUnicodeテキストを表示する良い方法はありますか？たとえば、さまざまな言語を扱う必要がある場合です。のような最も一般的なアプローチ

すべてのUnicode文字に対して十分なリストを作成できないため、機能しません。

C ++で文字列を小文字/大文字にするために人々が見つけた最良の方法は何ですか?

この問題は、C++ が英語のみのプログラミング言語ではないという事実によって複雑になります。良い多言語方法はありますか？

ALT 属性に日本語がいくつかありますが、ツールチップに醜いブロック文字が表示されます。ページの残りのコンテンツは正しく表示されます。これまでのところ、ツールチップに限定されているようです。

TV エピソードのファイル名 (たとえば、show.name.s01e02.avi) を解析し、(www.thetvdb.com API から) エピソード名を取得し、自動的に適切な名前に変更するスクリプトがあります (番組名 - [01x02 ].avi)

[a-zA-Z0-9'\-]スクリプトは正常に動作しますが、それは、Unicode の表示名を持つファイルで試して使用するまでです(私が持っているすべてのファイルは英語であるため、ほとんどすべてが .

正規表現がアクセント付きの文字などと一致するようにするにはどうすればよいですか? 現在、正規表現の設定セクションは次のようになっています..

私はDjangoチュートリアルでこの一節に出くわしました：

Djangoモデルには、unicode（）を呼び出して結果をUTF-8バイト文字列に変換するデフォルトのstr（）メソッドがあります。これは、unicode（p）がUnicode文字列を返し、str（p）がUTF-8としてエンコードされた文字を含む通常の文字列を返すことを意味します。

さて、afaik Unicodeは特定の表現ではないので混乱しています。では、Pythonの「Unicode文字列」とは何ですか？それはUCS-2を意味しますか？グーグルは大胆に述べているこの「PythonUnicodeチュートリアル」を見つけました

Unicodeは、世界の一般的な書記体系すべてをカバーする2バイトのエンコーディングです。

どちらが明らかに間違っているのですか、それともそれですか？私は文字セットとエンコーディングの問題で何度も混乱してきましたが、ここで私が読んでいるドキュメントは混乱していると確信しています。Pythonで「Unicode文字列」が表示されたときに何が起こっているのか誰か知っていますか？

ここ数年、私は多くの PHP プログラミングを行ってきましたが、私を悩ませ続けていることの 1 つは、Unicode とマルチバイト文字列のサポートが弱いことです (確かに、ネイティブには何もありません)。たとえば、「htmlentities」は PHP の世界でよく使用される関数のようですが、すべての文字列をローカライズ可能に保ち、データベースに UTF-8 のみを保存し、UTF のみを配信するように努力すると、非常に面倒であることがわかりました。 -8 Web ページなど 突然、データベースとブラウザの間のどこかに、すべてのバイトが文字であると偽ってすべてを台無しにする、この絶望的に単純な機能があります。

この種の関数をダンプしたいだけです。それらはまったく不要に思えます。最近でも「ä」と書く必要がありますか? 「あ」の代わりに？少なくとも、私の Firefox は、適切なエンコーディングで提供されている限り、最も奇妙なアジアのグリフでも問題なく表示できるようです。

更新：より正確に言うと、HTMLタグを表示する以外に必要な名前付きエンティティです（「<」の「<」など）

更新 2:

@Konrad: いいえ、名前付きエンティティは必要ないと言っていますか?

@Ross:しかし、出力ロジックをそのような問題から解放するために、入力時にユーザー入力をサニタイズする方が良いのではないでしょうか? （もちろん、入力で信頼できるサニタイズが可能であると仮定します-しかし、そうでない場合、出力で可能ですか？）

私は次の文法を構築しようとしています:

数値: 整数 | フロート | インフィニティ | インフィニティ | PI ... INFINITY: '∞' PI: 'π'

しかし、Antlr は文法のロードを拒否します。