問題タブ [utf-8]

PHP でいくつかの RSS フィードを作成していて、文字エンコードの問題に苦労しています。htmlentities() エンコーディングの前または後に utf8_encode() する必要がありますか? たとえば、description 要素にアンパサンドと漢字の両方が含まれていますが、どちらが適切かわかりません。

なぜ？

utf8 文字列を処理する小さな C ライブラリを探しています。

具体的には、ステミング アルゴリズムで使用するための Unicode 区切り記号に基づく分割です。

関連する投稿は次のことを示唆しています:

ICU http://www.icu-project.org/ (組み込みデバイスでの目的には大きすぎることがわかりました)

UTF8-CPP: http://utfcpp.sourceforge.net/ (優れていますが、C++ ではありません)

ユニコード文字列を処理するための、プラットフォームに依存しない小さなコードベース ライブラリを見つけた人はいますか (帰化を行う必要はありません)。

いくつかの異なる言語のファイルがいくつかあります。それらはすべてUTF-8でエンコードされていると思っていましたが、今はよくわかりません。きれいに見える文字もあれば、そうでない文字もあります。文字列を分割して文字セットを特定する方法はありますか? おそらく、空白で分割してから、各単語を識別しますか? 最後に、あるセットの文字を UTF-8 に変換する簡単な方法はありますか?

Team Foundation Server 2005 に保存されている既存の ASP.NET 2.0 Web サイトがあります。一部のページ/コントロールは ANSI としてエンコードされ (Notepad++ に従って)、Content-Type ヘッダーは次のように設定されています。

すべてのページを UTF-8 に変更したいので、Content-Type ヘッダーを次のように変更します。

meta 要素を変更する以外に、すべてのファイルのエンコーディングも変更する必要があると思います。Notepad ++でこれを行うことができますが、より速い方法がある場合は、それらについて言及してください。

TFS でのマージ/比較に関して、どのような問題に直面する可能性がありますか?

カスタム HTTP ヘッダーが、認証のためにサーブレット アプリケーションに渡されています。ヘッダー値には、アクセントやその他の非 ASCII 文字を含めることができる必要があるため、特定のエンコーディング (理想的には UTF-8) である必要があります。

認証環境を制御する開発者から、次の Java コードが提供されました。

しかし、このコードは私には正しく見えません: ヘッダー値のエンコーディングを指定する適切な方法があるように思えたときに、ヘッダー値のエンコーディングを前提としています (MIME からだと思います)。

ここに私の質問があります: UTF-8 エンコーディングをサポートする必要があるカスタム ヘッダー値を処理する正しい方法 (tm) は何ですか:

• ワイヤー上 (ヘッダーがワイヤー上でどのように見えるか)
• デコードの観点から (Java Servlet API を使用してデコードする方法、および request.getHeader() が既に適切にデコードを行っていると仮定できます)

サービスを変更できない場合にヘッダーを UTF-8 として扱う環境に依存しないコード サンプルを次に示します。

次のエントリを持つアプリケーション web.xml があります。

ただし、このページを表示すると日本語の文字化けが発生します。

同じページ (p_notfound.jsp) が、直接表示された場合、またはサーブレット フィルターを介して表示された場合でも正しく表示されます。

フィルターを追加してみました：

しかし、それは役に立ちません。何か案は？

ColdFusionでポンド（通貨）記号を含む電子メールを送信する必要があります。メールを送信する前に、プレビュー用にデータをhtmlファイルにダンプしています。

1. ColdFusionでutf-8エンコーディングを使用してメールを送信する方法
2. utf-8エンコーディングでファイルをColdFusionに保存する方法

私は電子メール n00b ですが、Unicode 文字を含む HTML 電子メールを送信するアプリケーションに取り組んでいます (私の友人が「エンコーディング地獄を楽しんでください」と述べたように)。

ヘッダーはSubject:ユーザー入力から取得されるため、Unicode 文字が含まれる場合があります。一部のメール クライアント (GMail や Outlook 2007 など) はこれで問題ありませんが、私の読みでは、ヘッダーにMIME Encoded-Word エンコーディングを使用するのが正しい方法のようです。

これを行うための Ruby ライブラリが見つかりません。ありますか？

また、メッセージを表示するときに UTF-8 を使用するようにメール クライアントに指示する追加するヘッダーはありますか? マルチパートメールを送信しているのでContent-Type、multipart/mixed. 特に Apple Mail.app は、個々の部分で UTF-8 として指定されているにもかかわらず、正しいエンコーディングを使用していません。

MySQL5.0.32-Debianで実行されているステージングRailsサイトがあります。

この特定のサイトでは、すべてのテーブルがutf8 / utf8_general_ciエンコーディングを使用しています。

そのデータベースの中に、次のようなデータがあります。

これが私が抱えている問題です

ステージング時（dbおよびRailsサイトがdebianボックスで実行されている場合）、Railsから表示されたときにシンボルの文字が正しく表示されます。たとえば、中国人民元は、データベース内に表示されているように、私のブラウザでは元として表示されていますが、å…ƒではありません。

そのデータをローカルのOSX開発マシンにダウンロードし、dbとRailsをローカルで実行すると、ステージングで表示される文字元ではなく、ブラウザーのDB（å…ƒ）内からの表現が表示されます。

私が行ったデバッグ

Content-Typeのすべてのヘッダーが各Webサーバー（ローカル、ステージング）からutf8として返されることを確認しました。

私のローカルmysqlサーバーとステージングサーバーは両方とも、デフォルトの文字セットとしてutf8を使用するように設定されています。電話をかける前に「setnames'utf8'」を使用しています。

OS X Railsホストからステージングデータベースに接続することもできますが、人民元を表す文字å…ƒが表示されます。おそらく、mysqlローカルクライアントに問題があると思いますが、問題が何であるかを理解できません。

おそらくこれは手がかりを与えるかもしれません

さらに混乱させるために、ローカルマシンのデータベースに元という文字を貼り付けると、Webブラウザで問題なく表示されます。---それでも、同じ文字をステージングデータベースに貼り付けると、？ステージングRailsサイトのページのその場所にマークを付けます。

また、OS X Railsマシンでローカルに、クエリの前に「set names'latin1'」を使用すると、すべての文字が正しく返されます。以前、これらのテーブルをlatin1として設定していましたが、これが問題になる可能性がありますか？

誰かがここで私を助けてください、私は何が悪いのかを理解しようと夢中になっています！

WordPress ブログと phpBB フォーラムを新しいホスティング サーバーに移行しています。phpMyAdmin を使用して、以前のサイトのデータベースから SQL スクリプトをインポートしています。

Kate で .sql スクリプトを開くと、エンコーディングとして UTF8 を使用していると表示されます。新しいサーバーにSQLをインポートすると、phpMyAdminにエンコーディングを選択するオプションがあり、デフォルトでutf8が選択されています。

それでも、データベースのインポートが完了すると、投稿テキストを phpMyAdmin で直接読み、「é」、「ñ」などの文字が「解釈」されておらず、挿入された奇妙な文字に置き換えられているのを確認します。

WordPress のインストールも機能していないことがわかります。どうやらこのエンコーディングに問題があるようですが、WordPress ではなく、MySQL データベースまたは phpMyAdmin に問題があると思います。

MySQL のバージョンは実質的に同じ MySQL 5 ですが、リビジョンが異なります。また、フォーラムデータベースの移行時は問題なかったので、これはさらに奇妙です...

これを修正する方法がわかりません...どんなアイデアでも大歓迎です。