Python 2.7.2、ボトル 0.10.9、および「スイスアーミーナイフ」スクレイピー 0.14.1 を使用して記述された単純な REST API があります。
簡単に言うと、scrapy を使用して URL のスクレイピングを開始し、json で応答を返すメソッドは 1 つだけです (myserver:8081/doparse?address="url")。
ボトル組み込みサーバーを使用してスクリプトをデプロイしているときに、次の出力が得られます。
Shutdown...
Traceback (most recent call last):
File "parser/main.py", line 67, in <module>
run(host='ks205512.kimsufi.com', port=8081)
File "/usr/local/lib/python2.6/dist-packages/bottle.py", line 2391, in run
server.run(app)
File "/usr/local/lib/python2.6/dist-packages/bottle.py", line 2089, in run
srv.serve_forever()
File "/usr/lib/python2.6/SocketServer.py", line 224, in serve_forever
r, w, e = select.select([self], [], [], poll_interval)
select.error: (4, 'Interrupted system call')
代わりに、cherrypy などの他のサーバーで bottle を使用すると、次のような他のエラーが発生しますが、役に立ちません。
Traceback (most recent call last):
File "/usr/local/lib/python2.6/dist-packages/bottle.py", line 737, in _handle
return route.call(**args)
File "/usr/local/lib/python2.6/dist-packages/bottle.py", line 1456, in wrapper
rv = callback(*a, **ka)
File "parser/main.py", line 20, in parse
return parse_url(url)
File "parser/main.py", line 35, in parse_url
items = crawler.start(url) # launching crawler
File "/home/projects/linkedinparser/parser/crawler.py", line 140, in start
crawler = CrawlerWorker(LinkedinSpider(url), results)
File "/home/projects/linkedinparser/parser/crawler.py", line 85, in __init__
self.crawler = CrawlerProcess(settings)
File "/usr/local/lib/python2.6/dist-packages/scrapy/crawler.py", line 69, in __init__
install_shutdown_handlers(self._signal_shutdown)
File "/usr/local/lib/python2.6/dist-packages/scrapy/utils/ossignal.py", line 21, in install_shutdown_handlers
reactor._handleSignals()
File "/usr/local/lib/python2.6/dist-packages/twisted/internet/posixbase.py", line 292, in _handleSignals
_SignalReactorMixin._handleSignals(self)
File "/usr/local/lib/python2.6/dist-packages/twisted/internet/base.py", line 1129, in _handleSignals
signal.signal(signal.SIGINT, self.sigInt)
ValueError: signal only works in main thread
あらゆる種類の助けをいただければ幸いです。ありがとう