http-headers - mitmproxy で HTTP 要求/応答ヘッダーをキャプチャする方法は?

Question

スマートフォンから HTTP(s) トラフィックをキャプチャすることができ、コマンドを使用して mitmdump を使用してこのトラフィックを保存することもできました

mitmdump -w outfile

HTTP bodyこれは、と一緒にダンプするようheadersです。できれば単一のcsv行（またはjson文字列）として、ヘッダーのみをキャプチャすることに興味があります。どうやってやるの？

Answer 1

U は @rvaneijk を使用していましたが、次のエラーが発生していました。

Script error: too many values to unpack 
Script error: too many values to unpack

「解凍するには値が多すぎます」という解決策を見つけ、辞書を繰り返しました。key=>string, value=>listで、コードを次のように変更しました。

[root@npmjs npmo-server]# cat parse_headers.py
def response(context, flow):
  request_headers = [{"name": k, "value": v} for k, v in flow.request.headers.iteritems()]
  response_headers = [{"name": k, "value": v} for k, v in flow.response.headers.iteritems()]
  print "################################"
  print "FOR: " + flow.request.url
  print flow.request.method + " " + flow.request.path + " " + flow.request.http_version
  print "HTTP REQUEST HEADERS"
  print request_headers
  print "HTTP RESPONSE HEADERS"
  print response_headers
  print ""

この出力は次のとおりです。

10.137.66.4:63870: clientdisconnect

################################
FOR: http://pe2enpmas300.corp.company.net:8081/csv-stringify
GET /csv-stringify HTTP/1.1
HTTP REQUEST HEADERS
[{'name': 'accept-encoding', 'value': 'gzip'}, {'name': 'authorization', 'value': 'Bearer d2e0770656a9726dfb559ea2ddccff3078dba9a0'}, {'name': 'version', 'value': '2.11.2'}, {'name': 'accept', 'value': 'application/json'}, {'name': 'referer', 'value': 'install restify'}, {'name': 'npm-session', 'value': 'a9a4d805c6392599'}, {'name': 'user-agent', 'value': 'npm/2.11.2 node/v0.10.25 linux x64'}, {'name': 'if-none-match', 'value': 'W/"43fb-8/w7tzRZ9CvawCJo5Uiisg"'}, {'name': 'host', 'value': 'registry-e2e.npmjs.intuit.net'}, {'name': 'Connection', 'value': 'keep-alive'}, {'name': 'X-Forwarded-For', 'value': '10.181.70.43'}]
HTTP RESPONSE HEADERS
[{'name': 'X-Powered-By', 'value': 'Express'}, {'name': 'ETag', 'value': 'W/"43fb-8/w7tzRZ9CvawCJo5Uiisg"'}, {'name': 'Date', 'value': 'Tue, 18 Oct 2016 08:04:45 GMT'}, {'name': 'Connection', 'value': 'keep-alive'}]

次のように Docker を使用できます。

1. ファイルをローカルに作成する
2. 以下を実行します

ファイルに対する読み取り権限があることを確認してください。

docker run -ti -p 8080:8080 -v $PWD/parse_headers.py:/tmp/parse_headers.py 
    mitmproxy/mitmproxy mitmdump -s /tmp/parse_headers.py 
    -R http://npmjs.corp.company.net:8081 8080