0

ScraperWiki を使用して、london-gazette.co.uk サイトからリンクを取得しています。コードを編集して、すべて同じデータストアに照合された多数の個別の検索 URL を下部に貼り付けることができるようにするにはどうすればよいですか?

現時点では、新しい URL を貼り付けて実行を押すだけで、新しいデータが古いデータの後ろに追加されますが、速度を上げてスクレーパーを複数のデータで動作させる方法があるかどうか疑問に思っていました一度にURL？URL の「通知コード」の部分を変更します。issues/2013-01-15;2013-01-15/all=NoticeCode%3a2441/start=1

申し訳ありませんが、Stack Overflow は初めてで、コーディングの知識はほとんどありませんが、コードは次のとおりです: https://scraperwiki.com/scrapers/links_1/edit/

4

1 に答える 1

0

リンク先のスクレーパーは空のようですが、Rebecca Ratcliffe によるオリジナルのスクレーパーを見てみました。あなたの URL が同じなら、URL をリストに入れて for ループでループするだけです。

urls = ['/issues/2013-01-15;2013-01-15/all=NoticeCode%3a2441/start=1', 
'/issues /2013-01-15;2013-01-15/all=NoticeCode%3a2453/start=1',
'/issues/2013-01-15;2013-01-15/all=NoticeCode%3a2462/start=1', 
'/issues/2012-02-10;2013-02-20/all=NoticeCode%3a2441/start=1']

base_url = 'http://www.london-gazette.co.uk'
for u in urls:
    starting_url = urlparse.urljoin(base_url, u)
    scrape_and_look_for_next_link(starting_url)

私がコピーしてそれに応じて適応させたこのスクレーパーを見てください。

于 2013-04-17T11:45:32.200 に答える