私は python-rq と redis を使用してドメイン名を渡し、ドメインからリンクを取得しています。
try:
for link in [h.get('href') for h in self.soup.find_all('a')]:
--code goes here--
except Exception, ex:
print ex
pass
コードを実行して例外がキャッチされると、そのドメインを印刷して無視する代わりに、失敗したキューにプッシュされます。しかし、コンソールでは rq は出力しませんpushing to failed queue。
リンクはデータベースで更新されていますが、ドメインは失敗したキューにプッシュされています。また、失敗したキューの数がデフォルトのキュー (渡されたドメインの総数) を超えています。
なぜこうなった？助けてください