問題タブ [scrapy-pipeline]

だから私の問題は、スクレイピングされた情報がデータベースに表示されないことです。

私のスパイダーは、.json ファイルなどの情報を正常に出力します。

パイプライン.py

そしてsettings.pyに追加しました

私のログにはこのエラーが表示されますが、これが表示されていても情報収集が機能していることがわかります。

そのため、結果はデー​​タベースにインポートされません

最終的な URL が既にクロールされている場合を含め、すべてのリダイレクト パスをキャッチするために、カスタムの重複フィルターを作成しました。

では、RedirectionItem をパイプラインに直接送信するにはどうすればよいでしょうか。データを直接送信できるように、カスタム フィルターからパイプラインをインスタンス化する方法はありますか? または、カスタム スケジューラも作成して、そこからパイプラインを取得する必要がありますが、どのようにすればよいでしょうか?

私はスクレイピーの初心者です。ここから画像をダウンロードしようとしています。私は公式文書とこの記事に従っていました。

私のsettings.pyは次のようになります：

次のようになりitems.pyます。

これらのファイルは両方とも良いと思います。しかし、画像を取得するための正しいスパイダーを書くことができません。画像の URL を取得できますが、を使用して画像を保存する方法がわかりませんimagePipeline。
私のクモは次のようになります。

この記事に続いてスパイダーを書きました。しかし、私は何も得ていません。私は自分のスパイダーを実行していますscrapy crawl DownloadfirstImg -o img5.json が、jsonも画像も取得していませんか?
URLがわかっている場合に画像を取得する方法に関するヘルプ。私もPythonを使ったことがないので、物事は私にとって非常に複雑に思えます。優れたチュートリアルへのリンクが役立つ場合があります。ティア

のリストで返される Web サイトをスクレイピングしていますurls。例 -scrapy crawl xyz_spider -o urls.csv

urls.csvファイルに追加するのではなく、新しいファイルを作成したいのですが、今はまったく問題なく動作dataしています。有効にするためにできるパラメーターの受け渡しはありますか?

スクレイピングされたアイテムを localhost で実行されている MySQL に永続化しようとしています。スパイダーが意図したとおりにサイトをクロールしてアイテムをスクレイピングしても、永続化のためのパイプライン オブジェクトは機能しません。アイテムをデータベースに保存しません。

pipelines.py ファイルの PersistMySQL クラス:

例外ブロックが出力されないため、クエリが有効であるように見えます。次のコードは、(他の設定と共に) settings.py にあります。

私はスクレイピー シェルを使用しており、非常に便利だと思いますが、シェルからアイテム パイプラインをデバッグする方法がないようで、MySQL エラーを出力する例外を使用しても役に立ちません。スパイダーはエラーなしで終了し、データベースに永続化する必要のある適切な数のアイテムがクロールされます。

私の問題は次のとおりです。

3 つのアイテム パイプラインがあります

• アーカイブをダウンロードする 1 つの FilesPipeline
• アーカイブをアンパックする 1 つの ArchiveUnpackerPipeline
• これらのアーカイブのコンテンツへのシンボリック リンクを生成する 1 つの SymbolicLinkerPipeline

問題は次のとおりです。

Web サイトの構築方法により、異なるアイテムから同じアーカイブへのシンボリック リンクを生成する必要がある場合があります。すべてが順次実行された場合、次のようになります。

1. item_1のダウンロードを開始しますarchive_1
2. item_1の開梱を開始しますarchive_1
3. item_1files_1fromのシンボリックリンクを開始しますarchive_1
4. item_2過去archive_1にダウンロードされたものを確認し、返すitem_1
5. item_2過去に開梱されたものを見てarchive_1、返すitem_1
6. item_2files_2fromのシンボリックリンクを開始しますarchive_1

ただし、ダウンロードには時間がかかるため、同じファイルが 2 回ダウンロードされるなどのエラーが発生する可能性があります。

この問題に取り組むエレガントな方法はありますか? downloading私の最初の推測では、各 download_url のステータスを、finished_downloading、unpacking、finished_unpackingおよび twisted Deferred を使用して追跡するグローバル ディクショナリで動作する可能性があります。

RFC2616 ポリシーを使用して解決策を見つけたと思いましたが、スクレイパーの実行時間をテストしても同じようです。だから私はデフォルトのポリシーに戻りました。

image_urls を

これで、アイテム image_urls に送信した URL をキャッシュするだけで済みます

私の理解では、指定することでポリシーを上書きできます

これを機能させるためのコードの提案はありますか?

こんにちは、Python のスクレイプ ライブラリを使用してスパイダーを作成し、Web サイトからデータを抽出しています。私のパイプラインでは、Flask-SQLAlchemy を使用してスパイダーを構成し、スクレイピングしたデータを SQLite テーブルに追加します。スパイダーがテーブルに重複データを追加するのを防ぐ方法を見つけようとしているので、データベースにクエリを実行して、スパイダーがテーブルに追加しようとしている要素と同じ要素がテーブルに既に含まれているかどうかを確認します。もしそうなら、私はスパイダーにデータを追加させたくないのですが、単純に次の要素に移動します。これが私がこれまでに持っているコードです:

これはエラー raise TypeError("Boolean value of this clause is not defined") を返しますが、これは if duplicates: ステートメントを参照していると思いますが、なぜこれが機能しないのかわかりません。重複が存在するかどうかを確認したいだけで、存在する場合、スパイダーはそのデータ要素をテーブルに追加しないでください。このシステムを機能させる方法についての指針はありますか?

要求されたスタック トレースの詳細は次のとおりです。