php - PHP cURL vs Python Scrapy?

Question

PHP cURL の経験は豊富ですが、Python Scrapy を使用して Web サイトのデータをスクレイピングすることに夢中になっています。データをスクレイピングし、戻り値と速度とメモリ使用量を操作するのにどちらが優れているかわかりません。

また、Python Scrapy の (yield) 関数は何をすべきなのでしょうか?

Answer 1

Scrapy はフレームワークです。URL をクロールするパイプラインと体系的な方法を定義できます。cURL は、HTTP などのプロトコルを介してページをクエリしたり、ファイルをダウンロードしたりするための単純なボイラー プレート コードです。

大規模なスクレイピング システムまたはプロジェクトを構築している場合は、おそらく Scrapy の方が適しています。それ以外の場合は、ハッキーまたは 1 回限りのものの場合、cURL に勝るものはありません (または、PHP に制約されている場合)。