3

エンコーディングの問題があります。YouTube (アラビア語チャンネル) をクロールしようとすると、次のようになります。

#!/usr/bin/python
# -*- coding: utf8 -*- 
from django.core.management.base import BaseCommand, CommandError
import requests, lxml, re
from lxml import html

class Command(BaseCommand):
    def handle(self, *args, **options):
        r = requests.get("https://www.youtube.com/user/aljazeerachannel/videos?view=0")
        root = lxml.html.fromstring(r.content)

        for data in root.xpath('.//*[@id="branded-page-body"]/div/div/div[1]/div/div[2]/ul/li[1]/span/span/a'):
            print data.text

結果は次のとおりです。

[root@vmi9105 buzzbal]# python manage.py youtube

        اÙتخابات اÙÙجاÙس اÙبÙدÙØ© Ù٠سÙØ·ÙØ© عÙÙاÙ
4

1 に答える 1