問題タブ [django-dynamic-scraper]

私はdjango-dynamic-scraper自分のアプリケーションの 1 つで使用しています。ドキュメントを確認しました。以下は私のセットアップです。

私が使用しているオブジェクトクラスのURLは次のとおりです。http://www.example.com/products/brandname_products.html

サイトのページネーションは以下のような感じです。

ページ 1:http://www.example.com/products/brandname_products.html ページ 2:http://www.example.com/products/brandname_products2.html ページ 3:http://www.example.com/products/brandname_products3.html ページ 4:http://www.example.com/products/brandname_products4.html

上記brandnameの URL は動的で、ブランドの製品ページによって異なります。10000 以上のブランドがあるため、ブランドごとに異なるスクレーパーを持つことはできないため、単一のスクレーパー オブジェクトを使用しようとしています。

私が使用しているスクレイパー オブジェクトでは、次のようにページ付けオプションを定義しました。

pagination_type: RANGE_FUNCT
pagination_append_str: _products{page}.html
pagination_page_replace:1,100,2

ただし、スクレーパーは次のページ付け URL を要求します

http://www.example.com/products/brandname_products.html_products2.html http://www.example.com/products/brandname_products.html_products3.html http://www.example.com/products/brandname_products.html_products4.html

それ以外の

http://www.example.com/products/brandname_products2.html http://www.example.com/products/brandname_products3.html http://www.example.com/products/brandname_products4.html

_products.htmlQ:オブジェクト クラス urlで実際に置き換えるのではなく、url の末尾に置換文字列を追加するのはなぜですか? 何が間違っているのか、どうすれば修正できますか。

こんにちは、django_dynamic_scraper は初めてです。私はそれとdjceleryをインストールしましたが、移行を適用するとこのエラーが表示されます。私はそれをグーグルで検索しましたが、何も見つかりませんでした。私がよりよく理解できるように具体的にしてください

これは私のsettings.pyです

適用時に移行

これはトレースバック エラーです

動的スクレーパーを使用するのは初めてで、 open_newsを学習するために次のサンプルを使用しました。すべてをセットアップしましたが、同じエラーが表示され続けます。dynamic_scraper.models.DoesNotExist: RequestPageType matching query does not exist.

django-dynamic-scraper を使用してスクレイピング データを設定しようとしています。画像スクレイピングを追加することを決定するまで、すべてが正常に機能していました。このドキュメントの一部の Scrapy images/screenshots のようにすべてを実行しました

しかし、スクレーパーを実行すると、次のような結果が得られます (ファイルのダウンロード中に 301 エラー)

アドバイスをいただければ幸いです。

私はdjangoが初めてで、おそらく私の問題は簡単に解決できますが、ドキュメントで解決する方法が見つかりません。私はウェブサイドから日時をクレープし、日時フィールドとしてモデルに保存したいと考えています。ドキュメントで日付プリプロセッサのようなものを見つけましたが、それはeng（およびden？）言語でのみ機能します。たとえば、ページの日時は 24 luty 20:00 のように見え、2 月 24 日 20:00 を意味します。どのようにこすることができますか？どんなアドバイスにも感謝します

私は自分のアプリケーションの 1 つで django-dynamic-scraper を使用しています。ドキュメントを確認したところ、次のように設定 しました。他の属性は空のままです。これらのオブジェクトの相対 XPath と絶対 XPath の両方を貼り付けようとしましたが、何も機能しませんでした。

2) SCRAPER ELEMENTS と REQUEST PAGE TYPES の詳細ページをどのように設定すればよいかよくわかりません。

このような場合、スクレイパーをデバッグする最良の方法は何ですか? 最小限の試行回数で正しい XPath を見つけるにはどうすればよいですか?

アプリで Django 動的スクレーパーを使用しようとしていますが、サーバーを実行しようとすると、このエラー メッセージが表示されます

しかし、私はインストール済みのアプリにこれを持っています

問題は何ですか？

編集