parsing - ペアリング時に Web ページの特殊なエラー文字を削除する

Question

「アレクサンダー マコーム、ジュニア (1782 年 4 月 3 日 – 1841 年 6 月 25 日) は、1828 年 5 月 29 日から 1841 年 6 月 25 日まで、米国陸軍の司令官でした。」のようなテキストを含む Web ページがあります。

これらの文字 ("�?) は、既に Web ページで間違って表示されています。ちなみに、これらの文字(??)は「-」のようです。そのような文字を削除/修正するにはどうすればよいですか? つまり、WebページのコンテンツをJavaまたは他のプログラミング言語に読み込んだりロードしたりするときに、そのような文字を検出して修正する方法はありますか.

Answer 1

これは文字エンコードの問題です。一部のソフトウェアが誤った文字コード変換を実行しました。URLなどの状況に関する詳細がなければ、特定の救済策を提案することはほとんど不可能です。しかし、このページはhttp://en.wikipedia.org/wiki/Alexander_Macomb_%28general%29の歪んだコピーのように見えるので、おそらくそのページを使用できます。歪みはどうやらENDASH「–」U-2013キャラクターをなんとかしてつぶすことで構成されているようです。