2

このページhttp://portal.globaltransit.net/へのログインを自動化しようとして いますが、最初にページに到達したときにページが 401 ヘッダーを返しますが、http フォームではなく標準の基本的な http 認証ページが表示されません。ここに出力がありますcurl -vvv http://portal.globaltransit.net/

* About to connect() to portal.globaltransit.net port 80 (#0)
* Trying 124.158.236.65... connected
* Connected to portal.globaltransit.net (124.158.236.65) port 80 (#0)
> GET / HTTP/1.1
> User-Agent: curl/7.19.7 (i486-pc-linux-gnu) libcurl/7.19.7 OpenSSL/0.9.8k zlib/1.2.3.3 libidn/1.15
> Host: portal.globaltransit.net
> Accept: */*
>
< HTTP/1.1 401 Unauthorized
< Date: Thu, 14 Nov 2013 07:18:06 GMT
< Server: Apache
< X-Powered-By: PHP/5.2.11
< Set-Cookie: symfony=1960d9b76a5f9fc3b00786e126cc69af; path=/
< Content-Length: 1211
< Content-Type: text/html; charset=utf-8
<
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
        <title></title>
    <link rel="shortcut icon" href="/favicon.ico" />
    <link rel="stylesheet" type="text/css" media="screen" href="/css/main.css" />
      </head>
  <body>


<form action="/login" method="post">
  <table>
    <tr> 
  <th><label for="signin_username">Username</label></th>
  <td><input type="text" name="signin[username]" id="signin_username" /></td>
</tr>
<tr>
  <th><label for="signin_password">Password</label></th>
  <td><input type="password" name="signin[password]" id="signin_password" /></td>
</tr>
<tr>
  <th><label for="signin_remember">Remember</label></th>
  <td><input type="checkbox" name="signin[remember]" id="signin_remember" /><input type="hidden" name="signin[_csrf_token]" value="6bdf80ca900038ada394467752593135" id="signin__csrf_token" /></td>
</tr>
  </table>

  <input type="submit" value="sign in" />
  <a href="/request_password">Forgot your password?</a>
</form>
  </body>
</html>

次のスクリプトでページをロードするために machanize を使用しようとすると

import mechanize
import mimetypes
import logging
import urllib2
from urlparse import urlparse
import cookielib
from base64 import b64encode
class Browser:
    def __init__(self, url):
        br = mechanize.Browser()
        br.set_handle_robots(False)   # no robots
        br.set_handle_refresh(False)
        br.set_handle_redirect(True)
        br.set_debug_http(True)
        cj = cookielib.LWPCookieJar()
        br.set_cookiejar(cj)  # can sometimes hang without this
        br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]
        self.page = br.open(url).read()
        print self.page
if __name__ == '__main__':
    browser = Browser("http://portal.globaltransit.net/")

次のエラーが表示されますmechanize._response.httperror_seek_wrapper: HTTP Error 401: Unauthorized。フォームを処理できるように、サーバーから返された 401 を無視するように機械化する方法があるかどうか疑問に思っていました。

4

3 に答える 3

3

次のようなことができると思います。

try:
    response = mechanize.urlopen("http://portal.globaltransit.net/")
except mechanize.HTTPError, response:
    pass

body = response.read()
#Do stuff with the form in the response body
于 2013-11-26T04:14:12.987 に答える
3

エラーは mechanize.Browser._mech_open で発生しています。これを見ると、エラーを無効にする方法がないようです。ただし、関数にモンキー パッチを適用することはできます。mechanize ソースの関数をソース コードにコピーし、エラーが 401 の場合でも応答を返すようにif not success:置き換えます。if not sucess and response.getcode() != 401:次に、 を使用して関数にモンキー パッチを適用しmechanize.Browser._mech_open = _mech_openます。モジュールがインポートされた直後にこれを行います。

于 2013-11-20T05:45:41.417 に答える
0

サーバーから実際に非 401 応答を取得することで、これを回避する方法があります。

まず：これを試してください

for form in br.forms():
   print "Form name:", form.name
   print form

応答は次のようになります。

Form name: None
<POST http://portal.globaltransit.net/login application/x-www-form-urlencoded
<TextControl(signin[username]=)>
<PasswordControl(signin[password]=)>
<CheckboxControl(signin[remember]=[on])>
<HiddenControl(signin[_csrf_token]=ec9a290dcc8d71e458d31a0fd509376b) (readonly)>
<SubmitControl(<None>=sign in) (readonly)>>

ここで、返される実際の URL が、コードで使用されている URL とは少し異なることがわかります。

今行う：

response = br.open("http://portal.globaltransit.net/login application/x-www-form-urlencoded")

応答は次のとおりです。

send: 'GET /login application/x-www-form-urlencoded HTTP/1.1\r\nAccept-Encoding:  
identity\r\nHost: portal.globaltransit.net\r\nCookie:  
symfony=f6fa25cf26e310e7e8bb3170637fdd73\r\nConnection: close\r\nUser-Agent:  
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 
Firefox/3.0.1\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date: Tue, 26 Nov 2013 17:45:01 GMT
header: Server: Apache
header: X-Powered-By: PHP/5.2.11
header: Content-Length: 1211
header: Connection: close
header: Content-Type: text/html; charset=utf-8

ここで重要なのは、br.form名から返された Url を使用することです。その後、通常どおりフォームを使用できます。

これを行うための適切なガイドは、 http://www.pythonforbeginners.com/cheatsheet/python-mechanize-cheat-sheet/にあります。

于 2013-11-26T18:03:47.650 に答える