簡単に言えば、Scrapy で Web データをスクレイピングしています。
キーワード/正規表現についてスクレイピングされたデータを分析し、一致した場合は、データをデータベースにパイプラインする必要があります。見つからない場合はドロップします。
私の質問は、Scrapy 内からこれを行う必要があるかどうかです。そうであれば、さらに調査するための高レベルの提案はありますか。
または、Scrapy の外部でこのタスクを実行する必要があります。
理想的には、Scrapy 内からすべてを実行したいと考えています。
ps私はScrapy/PythonとStackoverflowを初めて使用し、これを可能な限り調査しましたが、決定的な回答/ガイダンスは見つかりませんでした。