python - クローラー プロセスが予期せず終了する

Question

クローラー プロセスが予期せず終了するという問題に直面しています。

私はスクレイピー 0.14 を使用していますが、0.12 にも問題がありました。

Scrapyd ログには、次のようなエントリが表示されます: プロセスが死亡しました: exitstatus=None スパイダー ログには、データベース ステータスによって示されるスパイダー クローズ情報も表示されません。

他の誰かが同様の状況に直面しましたか? これらのプロセスが消えた理由、アイデア、提案をどのように追跡できますか?

Answer 1

私も似たような状況だったと思います。

プロセスが停止していた理由は、スパイダーがプロセスを停止させる例外を生成していたためです。

.scrapy例外を見つけるには、フォルダー内のどこかにあるログ ファイルを調べます。開始されたクローラー プロセスごとに、scrapy は名前にジョブ ID を含むログ ファイルを作成します。