現在、BeautifulSoup4 を使用して日本語の Web サイトをクロールしています。日本語の文字のデコードに問題があります。「～」と「ー」のみ四角形の文字として返されます。この問題を解決する方法を知っている人はいますか? ウェブサイトは「utf-8」でエンコードされています。
解析用のコードは次のとおりです。
response = requests.get(url)
soup = BeautifulSoup(resonse.text, 'html.parser')
前もって感謝します。