問題タブ [latin1]

いくつかのmysqlテーブルをlatin1からutf8に変換しようとしています。私は次のコマンドを使用していますが、これはほとんど機能しているようです。

ただし、1つのテーブルで、キーエントリの重複に関するエラーが発生します。これは、「名前」フィールドの一意のインデックスが原因で発生します。utf8に変換すると、「特殊」文字はすべて、英語に相当するものとしてインデックス付けされるようです。たとえば、名前フィールドの値が「Dru」のレコードがすでに存在します。utf8に変換する場合、「Drü」を含むレコードは重複と見なされます。「Patrick」と「Påtrìçk」も同じです。

問題を再現する方法は次のとおりです。

i このチュートリアルからデータベースを変換します

http://en.gentoo-wiki.com/wiki/Convert_latin1_to_UTF-8_in_MySQL

しかし、データベース内のアラビア文字が暗号化されていることに気づきませんでした。

PHPスクリプトを介してデータベースに接続すると、すべてがGOODになりますが、データベース内ではアラビア文字がそのように見えます

次のコマンドでiconvを使用して、データベースをWINDOWS-1256である古いエンコーディングに戻そうとします

このエラーが発生しました

iconv: 位置の不正な入力シーケンス

だから私は-cオプションを使ってコマンドをもう一度実行しようとします

それは機能し、データベース内にもアラビア文字が表示されますが、多くの文字が欠落しています。たとえば、次のようになります。

買い物に行きたい

変換後

私はしたいと思います

データベース内でアラビア文字が正常に読み取られるように修正する方法を知りたい

ありがとう

Django は標準で Unicode をサポートしており、デフォルトで utf-8 をサポートしています。utf-8 で多数の Django アプリを含むサイトの開発、デバッグ、およびテストに成功したとします。latin-1 などの別のエンコーディングへのほとんど簡単な移行には、どのような手順が必要ですか? データベースのエンコーディングを設定および変更するだけでよいと思いDEFAULT_CHARSET = 'latin-1'ますが、それがそれほど単純であるとは思えません。

議論のために、データベースに既に保存されている utf-8 データの移行は無視してかまいません。私は主に、Django コードの必要なチェックと変更、およびデータベースと Web サーバーの構成に関心があります。

だから私はLatin-1でエンコードされたファイルを読み取るためのperlスクリプトを書こうとしています。何らかの理由で、これはうまくいきません。ファイルにあることがわかっている（最初の行にある）文字を簡単に検索しようとすると、何も表示されません。use encoding"iso8859-1"を使用しています。以下ですが、 binmode（STDIN、 "：utf8"）;も試しました。。私が間違っているかもしれないこと、そしてそれを正しくする方法についての提案はありますか？

名前の一部を指定できるメンバー検索機能があり、その入力に一致するユーザー名、名、または姓の少なくとも1つを持つすべてのメンバーが返される必要があります。ここでの問題は、一部の名前にéinのような「奇妙な」文字がRenéeあり、ユーザーが奇妙な文字を入力したくないが、通常のASCII置換を使用したいということeです。

PHPでは、iconvを使用して入力文字列をASCIIに変換します（誰かが奇妙な文字を入力した場合に備えて）。ただし、データベースでは、文字列を一致させるために、奇妙な文字を（明らかに）ASCIIに変換する必要があります。

私は次のことを試しました：

（これは2回の試行です。）どちらも機能しません。両方ともRen?e出力として持っています。疑問符は。である必要がありeます。Ren?ee変換後にすべての疑問符を削除できるので、出力されても問題ありません。

ご想像のとおり、クエリする列はLatin1でエンコードされています。

ありがとう。

次のシナリオでの 3 つの質問:

• Latin1 コードページを使用し、「?」を表示する SQL Server 2005 運用データベース Management Studio の無効な文字について。
• サーバーとワークステーションからデータを入力するサービスとしての SomeCompanyApp クライアント。
• "?" を表示する SomeCompanyApp 管理コンソール アジアのキャラクター向け。

これは製品データベースなので、書き込みません。

データベースにデータを保存しているクライアント アプリが実際に Unicode として正しく保存されているかどうかはわかりませんが、コンソールに Latin1 を使用しているため表示されません。

Q1:私が理解しているように、SQL Server はコードページに関係なく nvarchar テキストを Unicode として保存します。それとも完全に間違っているのでしょうか。コードページが Latin1 の場合、そのコードページにないものはすべて "?" に変換されます。

Q2:テキスト欄でも同じですか？

Q3: SQL Server Management Studio または Visual Studio といくつかのコード (どの言語でもかまいません:)) を使用してデータベースにクエリを実行し、文字が実際に日本語、中国語、韓国語などとして表示されるかどうかを示す方法はありますか? ?

私の最終的な目標は、データベースからデータを抽出し、UTF-8 を使用して別のデータベースに保存し、日本語やその他のアジアの文字を自分のクライアント Web アプリケーションにあるものとして表示することです。 Q3の回答で落ち着きます。 私はいくつかの言語でコーディングでき、少なくとも他のいくつかは理解できますが、Unicode について十分な知識がありません。私の webapp が pyodbc と cassandra を使用することを知りたい場合は、これらの質問は問題ではありません。

こんにちは、主に英語とドイツ語の文字を、現在 utf-8 charset に設定されている mysql データベースに保存しています。

このタイプのデータには latin1 charset を使用する必要があると想定していますが、それは正しいですか?

もしそうなら、現在utf-8で保存されているドイツ語の文字を修正するために文字セットを変更するにはどうすればよいですか?

アップデート

たぶん、それは検索の問題です...もちろん、phpを介してデータベースからデータをエクスポートすると、utf-8が返されます。検索を実行してlatin1を取得できますか？

更新 1

OK、私はウェブサイトを構築しています.htmlエンコーディングはuft-8です.dbはuft-8です.そして今、いくつかのエクスポートを実行してデータを抽出したいと思います.データはExcelシートに返されます.データはutf-8です.しかし、ここでは文字をlatin1にする必要があります...または、データベースから抽出されたExcelシートのエンコーディングは、TöstがTästを表示するようにする必要があります。今、私はこのようなデータを取得します - > Töst

更新 2

次のphpスクリプトを使用してダンプを実行しています：

http://www.fundisom.com/phparadise/php/databases/mySQL_to_excel

48行目でコードを次のように変更しました

行動に変化なし。

どうすれば問題を解決できますか?

ほぼ解決

これは私が必要だと思うものです...しかし、phpスクリプトのコンテキストで確認する必要があります...明日:-)

クライアントの WordPress サイトを古いホストからピカピカの新しいホストに移動しています。WP データベースの MySQL ダンプを作成し、新しいホストにインポートしました。

アポストロフィが疑問符としてエンコードされていることを除いて、すべてがスムーズに機能しています。

私は少し調査を行いましたが、最も近いのは.sqlダンプをUTF8で保存し（これを行いました）、再度インポートしようとしています-運が悪いです。DEFAULT CHARSET=latin1;また、MySQL ダンプ内の のすべての参照を に変更しましたDEFAULT CHARSET=utf8;が、これも違いはありません。

いくつかの奇妙なケース (正確な構成を思い出せません) では、アポストロフィが完全に失われ、何も置き換えられずに消えてしまいます。

それらは標準のストレート アポストロフィ ( ') ではなく、むしろ正しいカーリー クォーテーション ( ) だと思います’。SOでうまくいくことを願っています！

何かアドバイス？

ありがとう！

ジャック

これは面白いです..私はopenstreetmapから地理ルックアップデータを読み取ろうとしています。クエリを実行するコードは次のようになります

チューリッヒのクエリは、UTF-8データに正しくURLエンコードされています。ここに不思議はありません。

応答を出力すると、umlautを含むuはlatin1（0xFC）でエンコードされます

しかし、openstreetmapはJSONデータをUTF-8で返すため、これは意味がありません。

これはファイルの内容によっても確認されます。次に、読み取りとjsonの両方の解析でUTF-8であると明示的に言います。

何が起きてる ？

編集：どうやらjson.loadsがどういうわけか台無しになっています。

（これと同様の質問がStackOverflowで行われていますが、正確にはこれではありません。最も近いのは、おそらく「ユニコード文字列をASCIIに変換するjavascript」であり、「これは重複している必要があります」というコメントがすでにあります。似たような投稿をいくつか読んだことがありますが、私の特定の質問には答えていません。私は非常に優れたW3Schoolsサイトを調べ、Googleでも検索しましたが、その方法でも答えは見つかりませんでした。したがって、ここでのヒントは非常に重要です。感謝。）

JavaScriptの一部に渡されるバイトの配列があります。JavaScriptでは、データは文字列で到着します。サードパーティのアプリケーションからのものであるため、転送のメカニズムがわかりません。文字列が「広い」か「狭い」かはわかりません。

私のJavaScriptには、のようなコードがありますb = str.charCodeAt(pos);。

私の問題は、0x86=134などのバイト値が文字0x2020=8224として送信されていることです。これは、元のバイトがラテン1（おそらく）の「短剣」文字として解釈され、同等のUnicodeコードポイント。（問題はJavaScriptの「障害」である場合とそうでない場合があります。）0x00..0x7Fと0xA0..0xFFの範囲は問題ないように見えますが、他の値でも同様の問題が発生しますが、0x80..0x9Fのほとんどの値が影響を受けます。いずれの場合も、値は元のLatin-1のUnicodeのようです。

もう1つの観察結果は、文字列の長さが、長さがバイト単位で測定された場合に狭い文字列に期待する長さであるということです。（一方、lengthが抽象文字で値を返す場合、これは何も教えてくれません。）

したがって、JavaScriptでは、文字列の「raw」バイトを取得する方法、Latin-1またはASCII文字コードを直接取得する方法、文字エンコーディング間で変換する方法、またはデフォルトのエンコーディングを定義する方法はありますか？

独自のマッピングを作成することはできますが、作成したくありません。それが私がやることになると思いますが、それは応急修理に応急修理をしているような感覚があります。

また、呼び出し元のアプリケーションで調整できるものがあるかどうかも調べています（データを幅の広い文字列として渡す可能性があるためですが、疑わしいと思います）。

いずれにせよ、私は単純なJavaScriptソリューションがあるかどうか、またはなぜないのかを理解することに興味があります。

（受信データが文字データの場合、Unicodeを自動的に処理するのは素晴らしいことです。しかし、そうではなく、単なるバイナリデータストリームです。）

ありがとう。