問題タブ [unicode-normalization]

Sqlite は、Unicode の同等性を使用する代わりに、Unicode 文字列をコード ポイントで比較しているようです。正規の Unicode の同等性を使用するには、sqlite が必要です。これを行う方法はありますか？

私はsqlite 3.7.13を使用しています

1 つの perl アプリケーションの作業を開始したところです。vs - ポータブルな方法で (正しく) 対処する方法についてアドバイスが必要です。unicode filenamesfilenames in the file content

Windows と Unix の世界では異なる Unicode エンコーディング (Unix utf8、Windows - 不明) が使用されていますが、Linux と Mac OS X ではファイル名の Unicode 正規化が異なります。(OS X - 強制的な NFD、Linux - 「通常の」NFC)。

私がすでに読んだすべてのアドバイスは次のとおりです:(常にアプリケーションの境界でユニコードデータを正規化します)-しかし、問題は-何が正しいか-最も移植性の高い方法ですか?

問題は、コンテンツに NFC を使用する OS X (テキスト ファイルの作成時) よりもです。他のシステムが何を使用しているかはわかりません。

質問、ポータブルアプリを作成し、ファイル名を処理する正しい方法は何ですか:

• opendir/readdir
• glob および同様の「ファイル操作」
• テキストファイル (ファイル名を含むもの)
• perl 内部...
• 他の？

正規化はいつ、どこで行われますか? コンテンツにファイル名が含まれているutf8テキストファイルを保存する方法は?

私は知っています、これはすでに StacOverflow にある多くの perl-unicode 関連の質問です。私はおそらくそれらのほとんどを掘り下げましたが、上記の質問リストを処理するための「推奨される」プラクティスが何であるかをまだ理解していません。

特定のオペレーティング システムの違いに対処するためにモジュールを作成する必要がありますか? または、ファイル操作の OS の違いを処理する CPAN モジュールが既にありますか?)

誰かが推奨されるプラクティスを含む優れたリソースを教えてもらえますか? それとも、私が今思うよりずっと簡単ですか？

Unicode では、アクセント付きの文字は 2 つの方法で表すことができます。アクセント付きの文字自体と、そのままの文字とアクセントの組み合わせです。たとえば、é (+U00E9) と e´ (+U0065 +U0301) は通常同じように表示されます。

R は以下をレンダリングします (バージョン 3.0.2、Mac OS 10.7.5 )。

ただし、もちろん:

2つのユニコード文字を1文字の形式に変換するRの関数はありますか? 特に、ここでは に折りたたま"\u0065\u0301"れ"\u00e9"ます。

これは、大量の文字列を処理するのに非常に便利です。iconvさらに、1 文字の形式は、少なくとも通常の Latin1 文字については、他のエンコーディングに簡単に変換でき、 plot.

よろしくお願いします。

移行ツールを検証するために、ソース A とターゲット ツール B の 2 つのテキストを比較したいと考えています。B は、正確にはわからないテキストにいくつかの「変換」を適用します。

これが私が使用している私のコードのスニペットです:

結果:

そこで、アクセント <=>html エンティティ、スペースなどを処理するテキストのハッシュを作成するツールを探しています。

Yahoo Store タグを使用してストアを構築しています。yahoo ストア タグは、HTML コメントによく似ています。

サーバー上にあると、製品 ID に関連するフィールドを取得することになっています。ここが奇妙な部分です。Dreamweaver でページを作成すると、Yahoo ストア タグが機能しません。Yahoo Webhosting ファイル マネージャーで HTML ページを作成し、Dreamweaver ファイル (doctype、html タグ、およびすべて) からまったく同じコードを貼り付けると、動作します。Yahoo で作成したファイルをダウンロードして、dreamweaver で編集し、サーバーに送り返すこともできます。

Dreamweaver でのファイルの作成方法に問題はありますか? さまざまな Unicode 正規化形式をそれぞれ使用してファイルを作成しようとしましたが、どれも機能しません。Dreamweaver ではないファイルを作成するとき、Yahoo は何をしているのですか?

これは Yahoo ファイル マネージャーで作成された作業ページです (価格は $24.95 です): http://fullsteampress.com/pricetest2.html

以下は、Dreamweaver で作成された同じページです: http://fullsteampress.com/pricetest.html

以下は、両方のページで使用された完全な HTML です。

追加情報：

私のコンピューターでは、dreamweaver で作成されたファイルは 374 バイトで、yahoo ファイル マネージャーで作成されたファイルは 670 バイトのようです。テキスト エディターで開いても、コンテンツ (私の HTML) は同じです。