Python で Web プロキシを作成しようとしています。目標は、次のような URL にアクセスして、通常と同じようhttp://proxyurl/http://anothersite.com/にコンテンツを表示することです。http://anothersite.com私はリクエスト ライブラリを悪用することでかなりのことを達成しましたが、これはリクエスト フレームワークの実際の使用目的ではありません。以前にツイストを使用してプロキシを作成したことがありますが、これを自分がやろうとしていることに接続する方法がわかりません。これまでのところ、私はここにいます...
import os
import urlparse
import requests
import tornado.ioloop
import tornado.web
from tornado import template
ROOT = os.path.dirname(os.path.abspath(__file__))
path = lambda *a: os.path.join(ROOT, *a)
loader = template.Loader(path(ROOT, 'templates'))
class ProxyHandler(tornado.web.RequestHandler):
def get(self, slug):
if slug.startswith("http://") or slug.startswith("https://"):
if self.get_argument("start", None) == "true":
parsed = urlparse.urlparse(slug)
self.set_cookie("scheme", value=parsed.scheme)
self.set_cookie("netloc", value=parsed.netloc)
self.set_cookie("urlpath", value=parsed.path)
#external resource
else:
response = requests.get(slug)
headers = response.headers
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
for block in response.iter_content(1024):
self.write(block)
self.finish()
return
else:
#absolute
if slug.startswith('/'):
slug = "{scheme}://{netloc}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
original_slug=slug,
)
#relative
else:
slug = "{scheme}://{netloc}{path}{original_slug}".format(
scheme=self.get_cookie('scheme'),
netloc=self.get_cookie('netloc'),
path=self.get_cookie('urlpath'),
original_slug=slug,
)
response = requests.get(slug)
#get the headers
headers = response.headers
#get doctype
doctype = None
if '<!doctype' in response.content.lower()[:9]:
doctype = response.content[:response.content.find('>')+1]
if 'content-type' in headers:
self.set_header('Content-type', headers['content-type'])
if 'length' in headers:
self.set_header('length', headers['length'])
self.write(response.content)
application = tornado.web.Application([
(r"/(.+)", ProxyHandler),
])
if __name__ == "__main__":
application.listen(8888)
tornado.ioloop.IOLoop.instance().start()
クエリ文字列に start=true がある場合、スキーム、netloc、および urlpath を保持するために Cookie を設定します。そうすれば、プロキシにヒットする相対リンクまたは絶対リンクは、その Cookie を使用して完全な URL を解決します。
このコードで にアクセスするhttp://localhost:8888/http://espn.com/?start=trueと、ESPN のコンテンツが表示されます。ただし、次のサイトではまったく機能しません: http://www.bottegaveneta.com/us/shop/ . 私の質問は、これを行う最善の方法は何ですか? 私がこれを堅牢に実装している現在の方法ですか、それともこの方法で行うにはいくつかのひどい落とし穴がありますか? もしそれが正しければ、私が指摘したような特定のサイトがまったく機能しないのはなぜですか?
助けてくれてありがとう。