0

Google Appengine に、cron.yaml によって 20 分ごとに開始されるスクリプトがあります。これは、自分のマシンでローカルに機能します。スクリプトをオンラインで開始する URL に (手動で) 移動すると、それも機能します。ただし、cron.yaml がスクリプトの開始を担当している場合、Google のインスタンスでは、スクリプトは常にオンラインで完了しません。

ログにはエラーは表示されず、2 つのデバッグ メッセージのみが表示されます。

D 2013-07-23 06:00:08.449
type(soup): <class 'bs4.BeautifulSoup'> END type(soup)

D 2013-07-23 06:00:11.246
type(soup): <class 'bs4.BeautifulSoup'> END type(soup)

これが私のスクリプトです：

# coding: utf-8
import jinja2, webapp2, urllib2, re

from bs4 import BeautifulSoup as bs
from google.appengine.api import memcache
from google.appengine.ext import db

class Article(db.Model):
    content = db.TextProperty()
    datetime = db.DateTimeProperty(auto_now_add=True)
    companies = db.ListProperty(db.Key)
    url = db.StringProperty()

class Company(db.Model):
    name = db.StringProperty() 
    ticker = db.StringProperty()

    @property
    def articles(self):
        return Article.gql("WHERE companies = :1", self.key()) 

def companies_key(companies_name=None):
  return db.Key.from_path('Companies', companies_name or 'default_companies')

def articles_key(articles_name=None):
  return db.Key.from_path('Articles', articles_name or 'default_articles')

def scrape():
   companies = memcache.get("companies")
   if not companies:
      companies = Company.all()
      memcache.add("companies",companies,30)
   for company in companies:
      links = links(company.ticker)
      links = set(links)
      for link in links:
          if link is not "None": 
              article_object = Article() 
              text = fetch(link)            
              article_object.content = text
              article_object.url = link
              article_object.companies.append(company.key()) #doesn't work.
              article_object.put()

def fetch(link):
    try:
        html = urllib2.urlopen(url).read()
        soup = bs(html)
    except:
        return "None"
    text = soup.get_text()
    text = text.encode('utf-8')
    text = text.decode('utf-8')
    text = unicode(text)
    if text is not "None": 
        return text
    else: 
        return "None"


def links(ticker):
    url = "https://www.google.com/finance/company_news?q=NASDAQ:" + ticker + "&start=10&num=10"
    html = urllib2.urlopen(url).read()
    soup = bs(html)
    div_class = re.compile("^g-section.*")
    divs = soup.find_all("div", {"class" : div_class})
    links = []
    for div in divs:
        a = unicode(div.find('a', attrs={'href': re.compile("^http://")})) 
        link_regex = re.search("(http://.*?)\"",a)
        try:
            link = link_regex.group(1)
            soup = bs(link)
            link = soup.get_text() 
        except:
            link = "None"
        links.append(link)

    return links

...そしてメインのスクリプトのハンドラー:

class ScrapeHandler(webapp2.RequestHandler):
    def get(self):
        scrape.scrape()
        self.redirect("/")

私の推測では、問題はスクレイプ スクリプトの二重の for ループである可能性がありますが、正確な理由はわかりません。

更新: 記事は実際にスクレイピングされており (必要な数だけ)、現在はログ エラーはなく、デバッグ メッセージもまったくありません。ログを見ると、cron ジョブは完全に実行されているように見えました。それでも、Appengine の cron ジョブ パネルには、cron ジョブが失敗したと表示されます。

4

1 に答える 1