python - クライアントに送信する前に http 応答を変更できる http-proxy の作成

Question

を使用wgetして Web から何かを取得していますが、ページの一部をたどりたくありません。wgetに戻す前に、処理したくないWebページの部分を削除するプロキシを設定できると思いましたが、どうすればそれを達成できるかわかりません。

Python または node.js で http 応答を簡単に変更できるプロキシはありますか?

Answer 1

この目標を達成する方法はいくつかあります。これで (node.js を使用して) 作業を開始できます。次の例では、google.com をフェッチし、「google」のすべてのインスタンスを「foobar」に置き換えています。

// package.json file...
{
  "name": "proxy-example",
  "description": "a simple example of modifying response using a proxy",
  "version": "0.0.1",
  "dependencies": {
    "request": "1.9.5"
  }
}

// server.js file...
var http = require("http")
var request = require("request")
var port = process.env.PORT || 8001

http.createServer(function(req, rsp){
  var options = { uri: "http://google.com" }

  request(options, function(err, response, body){
    rsp.writeHead(200)
    rsp.end(body.replace(/google/g, "foobar"))
  })

}).listen(port)

console.log("listening on port " + port)

Answer 2

nodejs では、node-http-proxyをフォークし、必要に応じてコードをカスタマイズします。

http プロキシをゼロから作成するよりもはるかに簡単です。