1

私はスクレイプクロールスパイダーを使用しており、出力ページを解析して入力タグパラメーター（type、id、name）を選択しようとしています。各データ型はアイテムに選択され、後でデータベースに保存されます。

 Database Table_1
 ╔════════════════╗
 ║      text      ║ 
 ╠════════════════╣
 ║  id  │ name    ║ 
 ╟──────┼─────────╢
 ║      │         ║ 
 ╟──────┼─────────╢
 ║      │         ║ 
 ╚══════╧═════════╝

同じことがパスワードとファイルにもありますが、

私が直面している問題は、xpathがタグ全体を抽出することです!!

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item, Field
from isa.items import IsaItem


class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['testaspnet.vulnweb.com']
    start_urls = ['http://testaspnet.vulnweb.com']


    rules = (
            Rule(SgmlLinkExtractor(allow=('/*' ) ),callback='parse_item'),)

    def parse_item(self, response):
        self.log('%s' % response.url)

        hxs = HtmlXPathSelector(response)
        item=IsaItem()
        text_input=hxs.select("//input[(@id or @name) and (@type = 'text' )]").extract()
        pass_input=hxs.select("//input[(@id or @name) and (@type = 'password')]").extract()     
        file_input=hxs.select("//input[(@id or @name) and (@type = 'file')]").extract()

        print text_input , pass_input ,file_input  
        return item

出力 

me@me-pc:~/isa/isa$ scrapy crawl example.com -L INFO -o file_nfffame.csv -t csv
2012-07-02 12:42:02+0200 [scrapy] INFO: Scrapy 0.14.4 started (bot: isa)
2012-07-02 12:42:02+0200 [example.com] INFO: Spider opened
2012-07-02 12:42:02+0200 [example.com] INFO: Crawled 0 pages (at 0 pages/min),    scraped 0 items (at 0 items/min)
[] [] []
[] [] []
[] [] []
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] []
[] [] []
[u'<input name="tbUsername" type="text" id="tbUsername" class="Login">'] [u'<input name="tbPassword" type="password" id="tbPassword" class="Login">'] []

[] [] []
2012-07-02 12:42:08+0200 [example.com] INFO: Closing spider (finished)
4

2 に答える 2

0

使用:

//yourCurrentExpression/@id

属性を取得しidます。

使用:

//yourCurrentExpression/text()

要素によって選択されたテキストノードの子を取得しますyourCurrentExpression。

最後に、2 つの式を 1 つの式に結合できます。

//yourCurrentExpression/@id | //yourCurrentExpression/text()

これにより、アイテムが次のように並べられたノード リストが生成(id-attribute, text-node)*されます。つまり、選択されたノードはドキュメントの順序で表されます。

于 2012-07-02T13:09:05.643 に答える
0

私の理解が正しければ、入力から属性値を抽出する必要があります。

現在の XPath はノード全体を提供しています。それがあなたが求めているものだからです。XPath セレクターはノードのポイントまで移動しますが、そのノードの特定の属性までは移動しません。

idノード自体ではなく、ノードの属性を取得するには:

some/xpath/query/@id
于 2012-07-02T12:39:34.460 に答える