問題タブ [utf8-decode]

Node (テスト済み: v0.8.23、現在の git: v0.11.3-pre)は、バッファー処理でデコード エラーを無視し、'\ufffd' utf8 以外の文字を(Unicode REPLACEMENT CHARACTER) で例外をスローするのではなく、静かに置き換えます。非 utf8 入力。その結果、fs.readFile、process.stdin.setEncodingおよび友人は、大量の不適切な入力エラーをマスクします。

失敗しないが本当に失敗するべき例:

'\ufffd'は正当な utf8 で (シーケンスとしてef bf bd) 発生する可能性がある完全に有効な文字であるため、結果に表示される this に基づくエラー処理でモンキー パッチを適用することは自明ではありません。

もう少し深く掘り下げると、これはノードがv8の文字列を延期するだけであり、それらは上記の動作をしており、v8には外部でエンコードされたデータでいっぱいの外部世界がないことが原因のようです。

入力文字列またはバッファでエラーが発見された場所に関するコンテキストを使用して、utf-8 デコード エラーをキャッチできるノード モジュールなどはありますか?

日本語テキストの構文解析を行う MeCab というプログラムを使用しようとしています。私が抱えている問題は、バイト文字列を返し、それを印刷しようとすると、ほとんどすべての文字に疑問符が表示されることです。ただし、使用しようとすると.decode、エラーがスローされます。これが私のコードです：

これは私の出力です：

また、私の端末は日本語の文字を正しく表示できます。たとえば、print '日本語'完全に正常に動作します。

何か案は？

semi-utf8 エンコーディングを含むファイルから行を読み取り、それをさらに操作するために Perl 内部表現に変換したいと考えています。

file.in (プレーン ASCII):

これらは MOŽNÁ と NOVÁ に変換されます。

行をロードし、適切な utf8 表記にアップグレードします。\\xc5\\xbd -> \x{00c5}\x{00bd}. 次に、これをアップグレード$lineして、perl を内部的に表現するようにします。

残念ながら、成功しませんでした。

サイトhttp://dilbert.comからコンテンツを取得すると、無効なエンコーディング utf-8lias が表示されます。もちろん、そのようなエンコーディングは存在しませんが、サイトが教えてくれることに影響を与えることはできません。

この結果、play.api.libs.ws.Response オブジェクトは UnsupportedEncodingException をスローします。

[エラー] アプリケーション - エラー: java.io.UnsupportedEncodingException: utf-8lias

もちろん、サイトが提供するエンコーディングが明らかに間違っている場合でも、コンテンツは UTF-8 です。

とにかく、Scala WS レスポンスにレスポンスを UTF-8 としてデコードさせることはできますか?

PHP 5 で実行され、 mysqli拡張機能を使用して MySQL データベースにアクセスして保存するアプリケーションがあります。データベースには、エンコードがUTF-8 (照合utf8_swedish_ci ) の多数のテーブルが含まれています。

残念ながら、mysqli 接続は ISO-8859-1 を使用してすべてをエンコードするように構成されているようです。これは、latin1データを含むUTF-8テーブルを取得したことを意味します。すべてをUTF-8に移行することで、これを修復しようとしています（そうあるべきです！）

これを処理する組み込みの方法はありますか？そうでない場合、この問題にどのようにアプローチすることをお勧めしますか?

編集: PHPMyAdmin を使用してすべてを参照しているときにデータがどのように見えるかのサンプル:

handelë（はずですhandelë）

√skal（はずです√skal）

また、出力エンコーディング UTF-8 を使用する限り、データは HTML ドキュメントに正しく出力されますが、mysqli 接続文字セットは latin1 として維持されます。それはすべてかなり混乱しています。

あなたの助けにとても感謝しています！

text="Côte d'Ivoire"を持つドロップダウンを選択したい。

私はこれらのコードを試しました、

1.encoding: UTF-8 #動作しない

2.text.force_encoding("ASCII-8BIT").encode('UTF-8', undef: :replace, replace:'') #text=コートジボワール

私はそれのために何をすべきですか？ また、このテキストを自分の DB に保存したいのですが、助けてください。