1

いくつかの Web ページを解析する python-daemon を作成しました。ただし、一部のページがパーサーと互換性がないために、エラーが発生することがあります。

実際の質問: エラーが止まらず、機能し続けたときにスクリプトを作成する方法は? 可能であれば、すべてのエラーをログ ファイルに記録します。

ありがとう。

私のコードの一部:

# row - array of links
for row in result:
    page_html = getPage(row['url'])
    self.page_data = row

    if page_html != False:
        self.deletePageFromIndex(row['id'])
        continue

    parser.mainlink = row['url']
    parser.feed(page_html)

    links = parser.links # get links from page
    words = wordParser(page_html); # words from page

    # insert data to DB
    self.insertWords(words)
    self.insertLinks(links)

    # print row['url'] + ' parsed. sleep... '

    self.markAsIndexed(row['id'])
    sleep(uniform(1, 3)) # sleep script
4

1 に答える 1