2

私は小さなウェブスクレイパーを構築するのに面白い時間を過ごしてきました、そして私は私の変数または関数スコープで何か間違ったことをしていると思います。一部の機能を個別の関数に引き出そうとすると、NameErrorが発生します。グローバル名「NAME」が定義されていません。多くの人が同じような問題を抱えているようですが、同じエラーで多くのバリエーションがあるようで、私はそれを理解することができません。

import urllib2, sys, urlparse, httplib, imageInfo
from BeautifulSoup import BeautifulSoup
from collections import deque

global visited_pages
visited_pages = []
global visit_queue
visit_queue = deque([])
global motorcycle_pages
motorcycle_pages = []
global motorcycle_pics
motorcycle_pics = []

global count 
count = 0

def scrapePages(url):
    #variables
    max_count = 20
    pic_num = 20

    #decide how long it should go on...
    global count
    if count >= max_count:
        return

    #this is all of the links that have been scraped
    the_links = []

    soup = soupify_url(url)

    #find all the links on the page
    for tag in soup.findAll('a'):
        the_links.append(tag.get('href'))


    visited_pages.append(url)
    count = count + 1
    print 'number of pages visited'
    print count

    links_to_visit = the_links
#    print 'links to visit'
#    print links_to_visit

    for link in links_to_visit:
        if link not in visited_pages:
            visit_queue.append(link)
    print 'visit queue'
    print visit_queue

    while visit_queue:
        link = visit_queue.pop()
        print link
        scrapePages(link)

    print '***done***'


the_url = 'http://www.reddit.com/r/motorcycles'
#call the function
scrapePages(the_url)


def soupify_url(url):
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError:
        return 
    except ValueError:
        return
    except httplib.InvalidURL:
        return
    except httplib.BadStatusLine:
        return

    return BeautifulSoup.BeautifulSoup(html)

これが私のトラックバックです：

Traceback (most recent call last):
  File "C:\Users\clifgray\Desktop\Mis Cosas\Programming\appengine\web_scraping\src\test.py", line 68, in <module>
    scrapePages(the_url)
  File "C:\Users\clifgray\Desktop\Mis Cosas\Programming\appengine\web_scraping\src\test.py", line 36, in scrapePages
    soup = soupify_url(url)
NameError: global name 'soupify_url' is not defined
4

1 に答える 1

5

メインコードを移動します。

the_url = 'http://www.reddit.com/r/motorcycles'
#call the function
scrapePages(the_url)

あなたが定義したポイントの後soupify_url、すなわち。ファイルの下部。

Pythonは、defscrapePages()が定義されていることを読み取ってから、それを呼び出そうとします。scrapePages()まだ定義されていないという関数を呼び出したいsoupify_url()ので、次のようになります。

NameError: global name 'soupify_url' is not defined

ルールを覚えておいてください：すべての関数は、実際に機能するコードの前に定義する必要があります

すべてscrapePages()の定義が定義され、スコープ内にある後にメインコード呼び出しをに移動すると、エラーが解決するはずです。soupify_url()

于 2013-02-07T13:12:50.473 に答える