Ajax を使用してサイトからデータを取得しようとしています。ページが読み込まれ、Javascript がコンテンツをリクエストします。詳細については、このページを参照してください: https://www.tele2.no/mobiltelefon.aspx
問題は、次の URL を呼び出してこのプロセスをシミュレートしようとしたときです: https://www.tele2.no/Services/Webshop/FilterService.svc/ApplyPhoneFilters
リクエストが許可されていないことを示す 400 レスポンスが返されます。これは私のコードです:
# -*- coding: utf-8 -*-
import scrapy
import json
class Tele2Spider(scrapy.Spider):
name = "tele2"
#allowed_domains = ["tele2.no/mobiltelefon.aspx"]
start_urls = (
'https://www.tele2.no/mobiltelefon.aspx/',
)
def parse(self, response):
url = 'https://www.tele2.no/Services/Webshop/FilterService.svc/ApplyPhoneFilters'
my_data = "{filters: []}"
req = scrapy.Request( url, method='POST', body=json.dumps(my_data), headers={'X-Requested-With': 'XMLHttpRequest','Content-Type':'application/json'}, callback=self.parser2)
yield req
def parser2(self, response):
print "test"
私はスクレイピーとパイソンを初めて使用するので、明らかに欠けているものがあるかもしれません