問題タブ [iconv]

具体的には、icon_strlen が不適切な文字シーケンスで失敗した場合の意味character sequencesを知りたいです。ありがとう

javascript で文字列を CP932 (別名 Windows-31J) から utf8 に変換しようとしています。基本的に、リクエストヘッダーのutf-8リクエストを無視し、cp932でエンコードされたテキストを返すサイトをクロールしています（htmlメタタグはページがshift_jisであることを示していますが）。

とにかく、ページ全体を「html」という文字列変数に保存しています。そこから、次のコードを使用して utf8 に変換しようとしています:

結果は本来あるべきものではありません。たとえば、「投稿者さんの稚内全日空ホテルのレビュー (感想・情報)」という文字列は、「ｿｽｽﾄｿｽﾒゑｿｽｿｽｽｽｿｽｽｽﾄｽﾄｽｿｽｽｽｿｽｽｽｽｿｽｽzｿｽｾﾝｽｽｽﾌﾌｸｿｽ`」となります。っす～(すすんすずすえすすすすすす)」

//TRANSLIT//IGNORE を削除すると (欠落している文字に対して同様の文字が返され、トランスコードできない文字が省略されます)、次のエラーが発生します: エラー: EILSEQ、不正な文字シーケンス。

私は nodejs で実装できる任意のソリューションを使用することにオープンですが、私の検索結果には nodejs-iconv モジュール以外の多くのオプションはありませんでした。

nodejs-iconv 参照: https://github.com/bnoordhuis/node-iconv

ありがとう！

編集 24.06.2011: 私は先に進み、Java でソリューションを実装しました。ただし、誰かがこの問題を解決できる場合は、この問題に対する JavaScript の解決策にまだ興味があります。

一部のファイルのエンコーディングをGBKからUTF-8に変換します。

Linuxで次のコマンドを実行しても問題ありません。

ただし、Mac OS Xでは、iconvに-oオプションがなく、すべての出力がstdoutに送られます。

そこで、コマンドを次のように変更しました。

ただし、最後の'{}'はファイルのパスに置き換えられず、文字通りに残されました。

iconvと演算子'>'をラップするbashスクリプトを作成できるかもしれませんが、それを機能させるためのより良い方法はありますか？

ありがとう。

Iconvが文字列のエンコーディングを変換するために使用されていることを私は知っています。私の理解から、Kconvは同じ目的のためです（私は間違っていますか？）。

私の質問は、それらの違いは何ですか、そして変換をエンコードするために何を使うべきかということです。

ところで、Iconvが1.9.3バージョンから非推奨になるという情報が見つかりました。

SQL ServerからUnicodeテキストファイルとしてエクスポートされた大きな（〜18 GB）ファイルに直面しています。つまり、そのエンコーディングはUTF-16（リトルエンディアン）です。ファイルはLinuxを実行しているコンピューターに保存されていますが、UTF-8に変換する方法がわかりません。

最初はiconvを使ってみましたが、ファイルが大きすぎます。私の次のアプローチは、ファイルを1つずつ分割して変換することでしたが、それも機能しませんでした。変換中に多くのエラーが発生しました。

では、これをUTF-8に変換する方法について何かアイデアはありますか？どんな助けでも大歓迎です。

iconv関数でエラーが発生することがあります。

inconv（）にデータを送信する前に、UTF-8文字列に不正な文字が含まれていることを検出する方法はありますか？

通常のフラグを使用して、wgetを使用してファイルをext2パーティションに保存しています。名前の取得に失敗することがあります。

テスト：

ファイル名を取得してファイルを削除するにはどうすればよいですか？

言及するのを忘れました、bashではファイルは次のようになります：

この文字列をlsに貼り付けると、そのようなファイルやディレクトリは返されません。

php 5.3 の iconv モジュールにはバグがあります。Apple は、自社のバージョンの php にパッチを適用しました。ただし、MAMP にはこのパッチが含まれていないため、Zend Framework では使用できません (たとえば)。

Apple のバージョンの php 5.3 を MAMP の httpd.conf に含めようとしましたが、シンボルが見つからないという問題に遭遇しました。PHP 5.3 /w iconv で MAMP を使用する適切な方法を知っている人はいますか? Apple のバージョンを再コンパイルまたはリンクすることはオプションですか?

これは私の配列です:

iconv として:$example = iconv('UTF-8','ISO-8859-9',$array);

しかし、これは配列です。そして働かない。私に何ができる？

php関数を使用iconvしていますが、一部の文字が正しく変換されません。

私も機能を試しmb_convert_encodingますが、問題を解決できません。

サンプルテキストファイル：9px.ir/utf8-16LE.rar