いくつかの Web ページを解析する python-daemon を作成しました。ただし、一部のページがパーサーと互換性がないために、エラーが発生することがあります。
実際の質問: エラーが止まらず、機能し続けたときにスクリプトを作成する方法は? 可能であれば、すべてのエラーをログ ファイルに記録します。
ありがとう。
私のコードの一部:
# row - array of links
for row in result:
page_html = getPage(row['url'])
self.page_data = row
if page_html != False:
self.deletePageFromIndex(row['id'])
continue
parser.mainlink = row['url']
parser.feed(page_html)
links = parser.links # get links from page
words = wordParser(page_html); # words from page
# insert data to DB
self.insertWords(words)
self.insertLinks(links)
# print row['url'] + ' parsed. sleep... '
self.markAsIndexed(row['id'])
sleep(uniform(1, 3)) # sleep script