問題タブ [latin1]

MySQLテーブルを確認したところ、デフォルトでlatin1に設定されています。それは一般的にデフォルトですか？

データベースをutf-8にすることを、すべてのテーブルに対して明示的にするにはどうすればよいですか？

デフォルトを変更できるdb構成があることは知っていますが、移行ごとに変更する方法もあると思います。今後、Railsの移行をutf-8に恒久的に設定するにはどうすればよいですか？

ありがとう！

一部のDBテーブルをlatin1文字セットからutf-8に変換しようとしています。多くのテーブルは正常に変換されましたが、一部のテーブルはこのエラーを返します。

テーブルxyzを文字セットutf8に変換します。エラー1118（42000）：行サイズが大きすぎます。使用されるテーブルタイプの最大行サイズは、BLOBを除いて、65535です。一部の列をTEXTまたはBLOBに変更する必要があります。

これに対する回避策はありますか？変換を問題なく実行するためにテーブルに含める必要のある最小の長さの列のサイズはどれくらいですか？また、テーブルのデータを壊さずに変更する必要のある列を変更するにはどうすればよいですか？

ちなみにこちらが表です。

私は他の誰かの大規模なプロジェクトの一部を拾い上げて、間違いを正そうとしています。問題は、正しい方法がわからないということです。

だから、私はたくさんのHTMLページをカーリングし、それを次のような簡単なコマンドでファイルに書き込んでいます。

今、私はそれらをUTF-8として保存したかったのです。それは何として保存されますか？次に、同じ基本的な「open」コマンドを使用してhtmlファイルを読み取り、正規表現呼び出しでhtmlを解析し、文字列連結を使用して大きな文字列を作成し、それをXMLファイルに書き込みます（上記と同じコードを使用）。代わりにXML::Writerを使用し始めましたが、エンコードが不正確なファイルを調べて修正する必要があります。

したがって、HTMLはもうありませんが、適切な文字を表示する必要のあるXMLはまだあります。次に例を示します：http：//filevo.com/wkkixmebxlmh.html

主な問題は、問題の文字を検出して、エディターに正しく表示される「\x{2019}」に置き換えることです。しかし、実際に野生のキャラクターをキャプチャするための正規表現を理解することはできません。

アップデート：

上記のFilevoにアップロードしたXMLファイルにあるALT-0146文字をまだ検出できません。UTF-8で開いて、/ \ x {2019} /、/ chr（0x2019）/を検索しましたが、/'/だけを検索しました。

エンコーディングについて質問があります。私のMySQLデータベースでは、ユーザーをlatin1_swedish_ciでエンコードしました（悪い考えです）。ここで、iPhone アプリケーションを Facebook に接続し、友人の名前のリストを取得します。これらの友人が既にアプリケーションに含まれているかどうかを確認したいと考えています。悲しいことに、クエリを実行しようとすると、次のエラーが発生します。

したがって、基本的には、Facebook の友人の名前 (utf8 内) とデータベース内の名前 (latin1) を混在させようとします。

データベース全体を utf8 に移行したくありません。名前のエンコーディングが latin1 と互換性があるかどうかを PHP で確認できるかどうか、または少なくとも latin1 のすべての名前をエンコードして実行できるかどうかを知りたいだけです。クエリ、およびそうでない場合は名前をスキップします。

このようなことが可能かどうか知っている人はいますか？ありがとう、

マシアール

file.xml を解析するために NSXMLParse を使用しています。それは機能しますが、この file.xml 内のテキストを抽出すると、いくつかの単語が切り取られます。これはエンコーディングの問題だと思います。

たとえば、私の file.xml の一部:

したがって、「」を解析して抽出すると、コンテンツは次のようになります。

INSTEAD OF 'A luz forte do sol lá fora fazia um grande contraste com o escuro do comodo'

なぜだかわかりませんが、「á」という言葉が出てきたときにフレーズをカットしています。すべてのタグで発生しており、常に「á,ó,ô,é...」のようなものが内部に含まれています。

このため、XML ファイルからの「エンコード」を行う必要があるかどうか疑問に思っています。

私のXMLファイルをロードするための私のコード:

上記の関数を呼び出す:

何か案は？

前の質問には答えましたが、理解できないことがいくつかあります。

utf-8 文字のフィールドを含む yaml ファイルがあります。

irb で yaml をロードすると、次のようになります。

Rails で yaml をロードすると、次のようになります。

Q3: Rails は、最初の utf-8 文字列を iso-8859-1 であるかのように出力し、文字列を iso-8859-1 に変換したものを utf-8 であるかのように出力するのはなぜですか?

このDate::Holidays::DKモジュールでは、特定のデンマークの祝日の名前が Latin1 エンコーディングで記​​述されています。たとえば、1 月 1 日は「Nytårsdag」です。$x適切な utf8 でエンコードされた文字列を取得するには、以下をどうすればよいですか?

use utf8とno utf8before/afterの組み合わせをいろいろ試してみuse Date::Holidays::DKましたが、効果がないようです。Encode の も使用しようとdecodeしましたが、うまくいきませんでした。すなわち、

出力を与える

(t と s の間に無効な文字があります)。

MySQL Workbench の文字セットを変更する方法はありますか? 私のスキーマは UTF-8 を使用しており、(UTF-8 として保存された) テーブル データを表示したり、データを手動で追加したりすると、文字セット エラーが表示されます。おそらく MySQL Workbench は LATIN1 を使用します。

私の会社の Rails Web サイトには、ソーシャル メディア チームからのツイートが rake タスクによって表示される Twitter エリアがあります。基本的に、rake タスクは Twitter gem を使用して新しいツイートをデータベースに定期的にインポートし、そこから表示します。ツイート内の URL リンクは、auto_link ヘルパーを使用して HTML リンクに変換されます。

今まで、常に正常に動作します。突然、リンクが壊れ、URL リンクの直前の単語が誤って強調表示されることさえあります。したがって、次のようなツイートの例では、「セントルイスでご安全に。熱中症警報が 8 月まで延長されましたhttp://bit.ly/ ...」では、August という単語がリンクされており、その後に続く URL 自体が壊れています。 、最後の単語とそれを壊すリンクの間に何かがあるかのように...

ヘルパーを調査し、データベースでツイートのテキスト フィールドを調べて、異常がないか確認し、Rails コンソールを使用してツイートを手動でプルアップしましたが、すべて問題ないように見えました。ツイート本文の 16 進コードを最後まで調べて初めてわかりました...

したがって、原因は ¬† がスペースにスローされたことであり、原因のスペースを削除してデータベースに手動で再挿入すると、問題は解決しました。

唯一の問題は、ツイートの本文がそのようにインポートされている理由が理解できないことです。特に、Rails コンソールで問題なく表示されている場合はなおさらです。これは古いデータベースであるため、一部の領域ではまだ latin1 エンコーディングを使用し、他の領域では utf8 を使用していることに気付きました。そのすべてを UTF-8 に変換すると修正されると確信していましたが、修正されませんでした。

輸入前に体にサニテーションヘルパーを使おうとまでしましたが、それもうまくいきませんでした。

¬† を取り除くために ruby​​ gsub も試しましたが、うまくいきませんでした。

この奇妙な問題を解決する方法について洞察を持っている人はいますか?

MySQL のすべてのデータを UTF8 でエンコードしたいと考えています。データベース、テーブル、および列のすべての文字セットと照合順序を UTF8 に設定しました。データベースに何かが書き込まれる前に、PHP で mb_detect_encoding を使用して、UTF8 かどうかを確認します。したがって、すべてのデータは UTF8 でエンコードされていると思います。

ただし、ここに問題があります。この単語 Ríkarðsdóttir を例にとると、データベースからクエリを実行し、UTF8 でエンコードされた Web ページで PHP を介して表示すると、正しく表示されます。この同じレコードを phpMyAdmin で照会すると、RÃkarðsdóttir が得られます。MySQL コマンド ラインを使用する場合も同様です。

サーバーのみが latin1 であり、私は共有ホスティング サイトにいて、それを変更できるとは思いません。それが問題でしょうか？

ここに私が理解していないことがあります: 私の UTF8 Web ページでは Ríkarðsdóttir が正しく表示されるのに、UTF8 でエンコードされた phpMyAdmin Web ページでは Ríkarðsdóttir として表示されるのはなぜですか? データは本当に UTF8 でエンコードされていませんか、それともデータベースはそれを信じていませんか? これを修正するために何をする必要がありますか?