51

JSON を返す Web リクエストをスクレイピングするために Scrapy をどのように使用しますか? たとえば、JSON は次のようになります。

{
    "firstName": "John",
    "lastName": "Smith",
    "age": 25,
    "address": {
        "streetAddress": "21 2nd Street",
        "city": "New York",
        "state": "NY",
        "postalCode": "10021"
    },
    "phoneNumber": [
        {
            "type": "home",
            "number": "212 555-1234"
        },
        {
            "type": "fax",
            "number": "646 555-4567"
        }
    ]
}

特定のアイテム (例: 上記) をスクレイピングして csv に保存しようと考えていnameますfax。

4

3 に答える 3

80

HtmlXPathSelectorこれは、HTML 応答にScrapy を使用するのと同じです。唯一の違いは、jsonモジュールを使用して応答を解析する必要があることです。

class MySpider(BaseSpider):
    ...


    def parse(self, response):
         jsonresponse = json.loads(response.text)

         item = MyItem()
         item["firstName"] = jsonresponse["firstName"]             

         return item

それが役立つことを願っています。

于 2013-08-11T14:05:14.903 に答える
0

JSON がロードされない理由として考えられるのは、前後に一重引用符があることです。これを試して：

json.loads(response.body_as_unicode().replace("'", '"'))
于 2015-02-02T12:59:57.803 に答える