2

スパイダーによってスクレイピングされたアイテムを、mysql パイプラインを介して mysql db に配置しようとしています。すべてが機能していますが、奇妙な動作が見られます。データベースへの入力は、Web サイト自体と同じ順序ではないことがわかります。ランダムな順序のようなものがあります。おそらく、スクレイピングされたアイテムのリストのような辞書のものだと思います。

私の質問は次のとおりです。

  1. ウェブサイト自体のアイテムと同じ注文を取得するにはどうすればよいですか?
  2. この質問 1 の順序を逆にする方法を教えてください。

ウェブサイト上のアイテム：

  • あ
  • B
  • ハ
  • D
  • え

私のSQLに注文を追加する：

  • え
  • D
  • ハ
  • B
  • あ
4

3 に答える 3

0

まず、良い質問です。私の理解によると、Scrapy はここで利用可能な深さ検索で深さ検索を行います 。したがって、Web サイトをクロールすると、深度検索が実行され、Web サイトに表示されるコンテンツの順序が自動的に変更され、スクレイピングされます。スクレイピー を 使っ て幅 広い 探索を お願い し ます . 内容 の 並び 方 が 変わら ない こと を 願っ て い ます .

于 2013-06-21T05:51:00.490 に答える