mysql - 二重にエンコードされたUTF8文字を修正する方法（utf-8テーブル内）

Question

以前LOAD DATA INFILEは、CSVファイルがエンコードされていることを前提として実行されましたlatin1。このインポート中に、マルチバイト文字は2つの単一文字として解釈され、utf-8を使用してエンコードされました（再度）。

このダブルエンコーディングは、ñの代わりにのような異常を作成しましñた。

これらの文字列を修正する方法は？

Answer 1

次のMySQL関数は、ダブルエンコード後に正しいutf8文字列を返します。

CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8)

UPDATEこれは、フィールドを修正するためのステートメントとともに使用できます。

UPDATE tablename SET
    field = CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8);

Answer 2

上記の回答は私のデータの一部では機能しましたが、実行後に多くのNULL列が生成されました。私の考えでは、変換が成功しなかった場合はnullが返されます。それを避けるために、私は小さなチェックを追加しました。

UPDATE
    tbl

SET
    col =
    CASE
        WHEN CONVERT(CAST(CONVERT(col USING latin1) AS BINARY) USING utf8) IS NULL THEN col
        ELSE CONVERT(CAST(CONVERT(col USING latin1) AS BINARY) USING utf8)
    END

Answer 3

私もこの問題に直面しています。ここでOracleのソリューションを紹介します。

update tablename t set t.colname = convert(t.colname, 'WE8ISO8859P1', 'UTF8') where t.colname like '%Ã%'

そしてもう1つはJava用です。

public static String fixDoubleEncoded(String text) {
    final Pattern pattern = Pattern.compile("^.*Ã[^0-9a-zA-Z\\ \t].*$");
    try {
        while (pattern.matcher(text).matches())
            text = new String(text.getBytes("iso-8859-1"), "utf-8");
    }
    catch (UnsupportedEncodingException e) {
        e.printStackTrace();
    }
    return text;
}

Answer 4

mysqlは認識されない文字の後にすべてのデータを削除するため、「utf8」の代わりに「utf8mb4」を使用することが非常に重要です。したがって、より安全な方法は次のとおりです。

UPDATE tablename SET
field = CONVERT(CAST(CONVERT(field USING latin1) AS BINARY) USING utf8mb4);

これに注意してください。