問題タブ [multibyte-characters]

StringBuilderJavaでバイト配列の一部をオブジェクトに追加するにはどうすればよいですか？InputStreamからバイト配列に読み取る関数のセグメントがあります。次に、読み取ったものをStringBuilderオブジェクトに追加します。

私は、ORMとしてruby1.9.3とmongoidを使用するrails3.1アプリに取り組んでいます。私は厄介な問題に直面しています。投稿の内容を次のように切り捨てたいと思います。

私が使用rawしているのは、実際にはリッチテキストエディタで処理されているstrip_tagsためです。post.content

非ASCII文字に深刻な問題があります。私の投稿内容が次のようになっていると想像してください。

私が上で素朴な方法でやっていることはこれをします：

切り捨ては、のような文字列のすべての単語を表示しているように見えますé&eactute;éé。

次のいずれかの方法はありますか？

1. 切り捨てで実際のUTF-8文字列を処理しますか？ここで、「é」は単一の文字を表しますか？それが私のお気に入りのアプローチです。
2. 上記の命令をハックして、結果がより良くなるようにします。たとえば、レールを2ワード間で切り捨てます。

私は今のところ解決策を見つけていないので、この質問をしています。これは私のアプリでそのようなキャラクターに問題がある唯一の場所です。ウェブサイトのコンテンツ全体がフランス語であるため、これは大きな問題であり、多くのが含まれていますé, ç, à, ù。

また、この動作はヘルパーにとって非常に残念なことだと思います。truncate私の場合、200文字ではなく、約25文字が切り捨てられるからです。

Clang は、標準以外のさまざまな方法std::numeric_limits<size_t>::max()で自分のallocator::max_size()

式のサイズは 4 バイトに制限されているように見えるため、impl で定義されたマルチバイト char のように見えますが、正確にどのように機能するかはわかりません。

2 ～ 4 行目はすべて int を返すように見えますが、4 行目だけが-Wfour-char-constantsif turn on を警告し-Weverytingます。4 バイト char でユーザーに警告する必要があるのはなぜですか?

それがどのように機能するか説明してください。口語的またはおそらく規範的な用語はありますか?

godbolt.org/g/7AR9nw

マルチバイト文字列 (stdin から取得) をワイド文字列に単純に変換することになっている、私が書いたこのスニペットを参照してください。mbsrtowcscppreference のドキュメントとドキュメントを読んだ後、mbstate_tそれは有効だと思いました:

はい、これは ASCII 文字列で機能します。しかし、非 ASCII 文字列を処理しようとしているまさにその理由は、ASCII テーブルを超えて分音記号をサポートしたいからです! そして、それは失敗します。への最初の呼び出しは でmbsrtowcs失敗しますEILSEQ。これは、マルチバイト文字列が無効であることを示しています。しかし、奇妙なことに、 で検査するとgdb、有効なようです! gdb（正しく表示される限り）。このスニペットに非 ASCII 文字列を入力してgdbing した場合の効果を以下で確認してください。

これが重要な場合、私は Linux を使用しており、ロケール エンコーディングは UTF8 のようです。

（これが、これが機能すると予想した理由printf("ąsa\n");です。Linuxでは機能する傾向がありますが、Windowsでは機能しない傾向があります）

私は何が欠けていますか？私は何を間違っていますか？