0

だから私の問題は、スクレイピングされた情報がデータベースに表示されないことです。

私のスパイダーは、.json ファイルなどの情報を正常に出力します。

パイプライン.py

import sys
import MySQLdb
import hashlib
from scrapy.exceptions import DropItem
from scrapy.http import Request

class MySQLStorePipeline(object):
  def __init__(self):
   self.conn = MySQLdb.connect(host="10.0.2.2", user='root', passwd='', db='mpmf', charset="utf8", use_unicode=True)
   self.cursor = self.conn.cursor()

def process_item(self, item, stack):    
    try:
        self.cursor.execute("""INSERT INTO test (pen, name)  
                    VALUES (%s, %s)""", 
                   (item['pen'].encode('utf-8'), item['name'].encode('utf-8')))

    self.conn.commit()


except MySQLdb.Error, e:
    print "Error %d: %s" % (e.args[0], e.args[1])


return item

そしてsettings.pyに追加しました

ITEM_PIPELINES = {
'stack.pipelines.MySQLStorePipeline': 300,
}

私のログにはこのエラーが表示されますが、これが表示されていても情報収集が機能していることがわかります。

 File "/usr/lib/python2.7/dist-packages/twisted/internet/defer.py", line   577, in _runCallbacks
 current.result = callback(current.result, *args, **kw)
 File "/root/stack/stack/pipelines.py", line 14, in process_item
 self.cursor.execute("""INSERT INTO test (pen, name) VALUES (%s, %s)""",  (item['pen'].encode('utf-8'), item['name'].encode('utf-8')))
 AttributeError: 'list' object has no attribute 'encode'

そのため、結果はデー​​タベースにインポートされません

4

1 に答える 1

0

それを解決した問題は、インデントとリストオブジェクトに属性がありませんでした

import sys
import MySQLdb
import hashlib
from scrapy.exceptions import DropItem
from scrapy.http import Request

class MySQLStorePipeline(object):
def __init__(self):
self.conn = MySQLdb.connect(host="10.0.2.2", user='root', passwd='', db='mpmf', charset="utf8", use_unicode=True)
self.cursor = self.conn.cursor()

def process_item(self, item, stack):    
try:
    self.cursor.execute("""INSERT INTO test (pen, name) VALUES (%s, %s)""", (item['pen'][0].encode('utf-8'), item['name'][0].encode('utf-8')))

    self.conn.commit()


except MySQLdb.Error, e:
    print "Error %d: %s" % (e.args[0], e.args[1])


return item
于 2016-08-08T09:50:27.063 に答える