問題タブ [shift-jis]

ファイルをshiftjisエンコーディングからutf-8に変換するために次の1つのライナーを試していますが、機能していません。役に立つ賢い人はいますか？

私はコードページにかなり慣れていませんが、Web にはこのテーマに関するあらゆる種類の複雑さが蔓延しているようです。ワンライナーが欲しいだけです。入力ファイルと出力ファイルは同じように見えます。

注: の = (シフト JIS) 0x82 0xCC

それはとても奇妙に出力されました: (たった3文字で\nは完全に無視されました!!)

なぜ A も B も Shift-JIS でエンコードされた文字を出力できないのですか?

青空文庫からhtmlソースを入手しています。HTMLファイルはShift-JISでエンコードされています。本のタイトルと著者を取得しようとしています。次に、タイトルと著者を SQLite(UTF-8) データベースに記録します。

結果は次のようになります。ラテン文字は正常に表示されています。ただし、日本語の文字はブロック内のクエスチョン マークで示されます (null 値に注意してください)。

この問題を解決するには？

Shift-JIS のままにしておく必要がある Python で編集する必要がある csv ファイルがあります。各セクションを Python インタープリターに入力してコードをテストすると、ファイルは正常に編集され、Shift-JIS のままになります。Python インタープリターで次の行を実行します。

これらの行をスクリプトに入れて DOS プロンプトから実行すると、もちろん、追加したシフト JIS 文字が台無しになります。DOS プロンプトで chcp を実行すると、chcp 932、shift-JIS を実行していると表示されます。何が機能していないか誰か知っていますか？

request モジュールを使用して、utf-8 以外の Web サイトにアクセスしようとしています。このリクエストに対するレスポンスは文字化けしています。

エンコード オプションを Shift_JIS に設定した後でも、文字化けした日本語テキストが表示されます。

フェッチしている HTML ファイルには、HTML ヘッダーで指定されたエンコーディングでサポートされていない文字がいくつか含まれています。

以下は Shift_JIS エンコーディングではサポートされていませんが、実際に使用されていることがわかりました。私のブラウザはこれらの文字を正しく表示できます。

• ∑ n 項和 U+2211
• ﾟ 半角カタカナ半濁音記号 U+FF9F
• Д キリル大文字 de U+414

この HTML ファイルを読み取って処理のためにデコードしようとすると、UnicodeDecodeError が発生します。

エラーを発生させずに、不正にエンコードされた文字を含む HTML を処理する良い方法はありますか?

シフトシーケンスを使用して他の文字セットから文字を出力する方法について読んでいると、次のコードにたどり着きました（エスケープシーケンスが間違っていると確信していますが、理由はわかりません）：

ただし、「？」を出力するため、これは機能しません。文字「ｳ」ではなく端末で。私のフォントは実際にその文字をサポートしています。私が間違っていることと、これを修正する方法（まだシフトシーケンスを使用している）を誰かが説明できれば、それは大歓迎です。

ありがとうございました