実際、私は用語と混同しています。私はスクレイピーを勉強していますが、ウェブサイトをクロールしてデータを抽出するためのものだと思います。
しかし、実際のユーザーと同じようなことをする python プログラムをいくつか作りたいと思っています。つまり、タスクの自動化のようなものです。
たとえば、www.myblah.com にアクセスして、あるカテゴリで最も安い製品を入手し、それが事前に設定した金額よりも少ない場合は、メールを送ってください。
これらのタイプのものがクロールに該当するのか、それとも他の何かに該当するのかはわかりません。
スクレイピーでそれを行うことはできますか、またはそのようなタスクを実行するための他のライブラリがあります。
Scrapyは、ボットまたはクローラー (別名スパイダー) を作成するために使用できるフレームワークです。クローラーは特定の種類のボットですが、ボットは必ずしもクローラーではありません。クローラーは、ページ (ノード) のグラフとそれらに埋め込まれた URL (エッジ) を探索するように設計されていることによって定義されますが、特定の URL をたどることは制限されている場合があります。
タスクの自動化はボットの仕事です。そのために Scrapy が機能するかどうかは、必要な情報と、どのようにアクションを実行する必要があるかによって異なります。最近の多くのサイトは JavaScript を多用しているため、ボットが JavaScript を実行できず、Cookie を正しく提供できない場合、タスクに情報を取得できない可能性があります。一部の Web 自動化タスクには、ブラウザー プラグインが必要な場合や、GUI 自動化ツールが必要になる場合もあります。