問題タブ [latin1]

tornado.httpserver を使用して作成された単純な Tornado サーバーのベンチマークを実行しようとしていますが、Solaris マシンで 1000 以上の同時接続で apache ベンチを使用すると、次のエラーが発生します。

これは、Python コーデック テーブルが無効な状態のままになる競合状態によるものだと思います。私の理解では、latin1 は python 標準ライブラリに含まれているため、何も pythons コーデック テーブルを変更していない限り存在するはずです。

私はtornado srcを調べましたが、コーデックテーブルを変更していないようです。そのため、マルチプロセスのPythonアプリケーションでこれまたは同様の問題を引き起こす可能性のある他の方法や問題を誰かが知っているかどうか疑問に思っています.

ありがとう！！

サーバー コードへのリンク: https://www.dropbox.com/s/xrgj59sv0y5y31n/server_ioloop.py

もう一度、私は奇妙でトリッキーな問題を抱えています。

私はMySQLデータベース（およびそれに関してはサーバー上の他のすべて）をUTF-8に変換して、テキストを取得して別のデータベースに配置するときにテキストを変換する必要がないように取り組んできました。

私は部分的に成功したと思いSHOW VARIABLES LIKE 'character_set%'ます。

ただし、それでもmysql_client_encoding($con);戻りlatin1、出力ではすべての特殊文字が�に置き換えられます。私の結論は、ドキュメントヘッダーとmy.iniで次のコードを使用してutf-8を指定しているにもかかわらず、クライアントまたはPHPとMySQLデータベース間の接続でlatin1を使用しているということです。

編集： [client]、[mysqld]、[mysql]の両方に上記の設定を追加しました

使用しmysql_query('SET NAMES utf8;');たりmysql_set_charset("utf8");、テキストが正しく表示されたりする場合、それは解決策ではなく、一時的な修正にすぎません。

PHP（またはlatin1に戻すもの）にutf-8を使用させる方法を知っている人はいますか？

私はWindows2003ServerとApache2を使用していることに言及する必要があります。

私はphpを使用していくつかの「特殊文字」をデコードするためのきれいな方法を見つけようとしています.RTFファイル（PDFとDOCも同様の問題があります）を持っています.終了しても、é の場合は é、ç の場合は ç のような文字が出力されます。mb_detect_encoding (「auto」も使用) を試しましたが、「ACSII」が検出されました。 )、mb_convert_encoding($mytext,'UTF-8')、次に UTF-8 から ISO-8859-1、htmlspecialchars、utf8_decode (再帰的に)。マッピング テーブルを作成しましたが、それが最善の方法だとは思いませんか?

ザビエル・ヴィラン

PS : ドキュメントのほとんどは、フランスのラテン文字セットで作成されています。

私が持っている質問は非常に単純ですが、これまでのところ解決策を見つけることができませんでした:

libiconv のような余分なライブラリを使用せずに、UTF8 エンコードstringを C++ でエンコードされた latin1に変換するにはどうすればよいですか?string

これまでに見つけたすべての例は、latin1 から UTF8 への変換に関するものですか?

mysqlにはデータの問題があります。

(1):のような文字列を持つ一部のデータ ストア"hello & hello ' hello è ..."。そして、 (2):のような文字列を持つデータ ストア"hello à hello é hello ê ..."。

文字列(1)は通常の文字列に解けますが、文字列(2)を通常の文字列に変換する方法がわかりませんか?

注: 既存のデータベースのデータを変更することはできません :/ また、両方のサンプルが同じテーブルに格納されており、テーブルの文字セットは latin1 です!

私は現在、MySQL Server データベースを操作する Web ベースの PHP アプリに取り組んでいます。
データベースは Latin1 文字セットを使用しており、すべてのペルシャ語のテキストが正しく表示されません。
データベースは、windows ソフトウェアで使用され、ペルシア語のテキストを表示および保存します。
Windowsソフトウェアはその文字セットで動作するため、文字セットを変更したくありません。

質問:
latin1 を utf8 に変換して表示し、utf8 を latin1 に変換して Web ベースの PHP アプリから保存したり、latin1 charset データベースで問題なくペルシャ語/アラビア語を使用したりするにはどうすればよいですか?

注：
私のテキストの1つは、Windowsベースのソフトウェアから保存して、古いWindowsاحمد رحمانیベースのソフトウェアで保存しÇÍãÏ ÑÍãÇäíて表示する場合ですاحمد رحمانی

image : データベース、文字セット、照合、および Windows ベースのソフトウェアのイメージ (フルサイズ)

さまざまなエンコードされたデータで長い間満たされていた latin1 テーブルがあるため、多くの壊れた文字が含まれています。私はそれを修正しようとしていて、Latin1でエンコードされた列でUTF-8文字を検出する方法-MySQLは非常に役立ちます。特に次のコード

しかし、これですべての問題が解決するわけではありません。「ä」と表示された ä 文字は、そのコマンドで ä に変換されますが、「Â」と表示される ä 文字もいくつかあるので、別のエンコード形式が使用されたようですが、どの文字がどの文字かわかりません。元に戻すことができました。mysql サーバーで利用可能な文字セットを試してみましたが、適切な結果が得られませんでした。誰かが以前にこの問題を経験したことがあり、正しい文字セットを教えてもらえますか?

これは何度も聞かれることは知っていますが、照合とエンコーディングの違いを理解するのに苦労しています。

さて、混合照合のテーブルを持つMySQLデータベース（実際にはいくつか）があります。現在、一部の列はutf8_unicode_ciであり、一部はデフォルトですlatin1_swedish_ci。それ以来utf8_unicode_ci、デフォルトとしてを使用しています。しかし、latin1には多くの「レガシー」列があります。

一貫性が必要であり、すべての列をutf8に変換したいと思います。幸い、データの99.9％は英語であり、（文字通り）スペイン語の住所（チルダ）を持つレコードがいくつかあります。とてもシンプルなことですが、私たちはそれを「正しい方法」で行い、あらゆる言語を完全にサポートしたいと考えています。したがって、utf8_unicode。

すべてのテーブルのすべての列を調べて、その変更を加える必要はありません。すべての列を変換する簡単なスクリプトはありますutf8_unicode_ciか？

また、私たちが探す必要のあるいくつかの落とし穴は何ですか？つまり、私が間違っていて、ロシア語または日本語で私が知らないレコードがある場合、問題が発生しますか？

そして、これは副次的な質問かもしれませんが、エンコーディングには、UTF8の方が優れています。これは、任意の言語を格納できるからです。のように、各文字は、数千文字の「グローバル」アルファベットであるべきものを表す2バイトまたは4バイトになりますか？そのアナロジーが愚かに聞こえるが理解しようとしている場合は申し訳ありません。そして、照合は、私が照会するときにそれらがどのようにソートされるかということです。A8 9F文字が文字HとB3 2E文字のように保存されている場合、e前にH来るので最初に来るのでしょうか？A8B3

はぁ、頭が回転している。これが3つの異なる質問のように思われる場合は申し訳ありませんが、管理職に行って列を変換する必要があると言った場合、これが理由です。

ありがとう

Unicode のデータがあり、それをファイルに書き込みたいと考えています。私はpython 2.6を使用しています。エンコードされた値を出力できますが、ファイルに書き込むことができません。環境のデフォルトのエンコーディングは UTF-8 です。コーデックも使用しようとしましたが、運もありませんでした。これは、私が使用しているサンプル コード スニペットです。

出力：

上記のように、ファイルは Latin-1 ではなく UTF-8 エンコーディングで書き込まれています。ファイルのデフォルトのエンコーディングを変更してオーバーライドするにはどうすればよいですか。

編集：2

また、csv ライターを使用して書き込むと、UnicodeEncodeError: 'ascii' codec can't encode character u'\xe9' in position 1: ordinal not in range(128) が返されます

以下のコード:

xlrdを使用してExcelファイルを読み取ってtxtファイルに書き込もうとしています。'Téd'のようなスペイン語の文字を含む一部の行を除いて、すべてが正常に書き込まれています。latin-1エンコーディングを使用してそれらをエンコードできます。ただし、コードは、ユニコードu'\u2013'の'â'を持つ他の行では失敗します。u'\ 2013'は、latin-1を使用してエンコードすることはできません。UTF-8を使用する場合、「â」は正常に書き出されますが、「Téd」は「Téd」として書き出されます。これは受け入れられません。これを修正するにはどうすればよいですか。

以下のコード：