:-)
ページをダウンロードし、ページのフォームに記入して送信しようとしています。私はpythonが好きで、mechanizeに出くわしました。Web ページを正常にダウンロードでき、ページに 2 つのフォームがあることを確認できますが、mechanize によってダウンロードされた Web ページ データに明らかに 2 番目のフォームが含まれていることを確認できても、mechanize は 2 番目のフォーム (メソッド POST) を認識しません。したがって、値を変更して、関心のあるフォームを送信することさえできません。私は、OS X 10.6.8 で Python 2.6.1 を使用しています。どんなアドバイスでも大歓迎です。
私のコード
import mechanize
br = mechanize.Browser()
br.set_handle_robots(False) # no robots
br.set_handle_refresh(False) # can sometimes hang without this
br.addheaders = [('User-agent', 'Mozilla/6.0 (X11; U; i686; en-US; rv:1.9.0.1) Gecko/2008071615 OS X 10.2 Firefox/3.0.1')]
url = 'http://www.abcd.com/test.html'
response = br.open(url)
以下のように、response.read() または get_data() を使用して、2 つのフォームがあることを確認できます。
<form id="lookupFormX" action="/lookup/" onSubmit="return submitLookupForm('lookupForm', 'download');" method="GET">
<label style="font-weight:normal; font-size:85%; margin-right:5px;">View a Site Report </label>
<input type="hidden" name="facet" style="margin-right:2px; font-weight:normal; font-size:85%;" value="sitereport" readonly/>
<input style="margin-right:2px; font-weight:normal; font-size:85%;" name="q" type="text" id="railtext_v11pt" value="e.g. yahoo.com"
onfocus="clearDefaultNote(this,'e.g. yahoo.com');"
onblur="addDefaultNote(this,'e.g. yahoo.com');" />
<a style="margin-right:10px;" href="#" onclick="submitLookupForm('lookupFormX');"><img src="/images/nav_right.gif" /></a>
</form>
<br>
<FORM action="userfeedbackpost.html" id="friendForm" name="friendForm" method="post">
<TABLE id="userfeedbacktable" BORDER=0 style="padding:left:0px; margin-left:0px;">
<TR>
<TD style="width:200px;padding-left:10px">Your Name:</TD>
<TD style="width:200px" ><input name="your_name" type="text" SIZE=35/></TD>
<TD style="width:250px;text-align:right;padding-right:10px">Your E-mail:</TD>
<TD style="width:140px" ><input name="your_email" type="text" SIZE=35/></TD>
</TR>
<!-- <TR></TR> -->
<TR>
<TD style="width:200px;padding-left:10px">Subject:</TD>
<TD colspan="3" ><input name="subject" type="text" style="width:648px" SIZE=106/></TD>
</TR>
<!-- <TR></TR> -->
<TR>
<TD style="width:200px;padding-left:10px">URL this concerns:</TD>
<TD colspan="3" ><input name="url" type="text" style="width:648px" SIZE=106/></TD>
</TR>
<!-- <TR></TR> -->
<TR>
<TD style="width:200px;padding-left:10px">User ID:</TD>
<TD style="width:200px" ><input name="test_id" type="text" SIZE=35/></TD>
<TD style="width:250px;text-align:right;padding-right:10px">Type of inquiry:</TD>
<TD style="width:140px" >
<SELECT name="type" id="type" style="width:262px" onchange="makeSelection()">
<OPTION value="Choose">Choose One</OPTION>
<OPTION value="Bug report">Report an error</OPTION>
<OPTION value="Helpful Information">Send us a suggestion</OPTION>
<OPTION value="Other">Other</OPTION>
</SELECT>
</TD>
</TR>
<!-- <TR></TR> -->
<TR id="infoPanel" style="display:none">
<TD style="width:200px;padding-left:10px">Facet in question:</TD>
<TD style="width:200px" >
<SELECT name="facet" style="width:263px" id="facet">
<OPTION selected value="Choose">Choose One</OPTION>
<OPTION value="Annoyances">Annoyances</OPTION>
<OPTION value="Downloads">Downloads</OPTION>
<OPTION value="Links">Links</OPTION>
</SELECT>
</TD>
<TD style="width:250px;text-align:right;padding-right:10px">Are you the site owner?:</TD>
<TD style="width:140px" >
<input type="radio" id="siteowner_yes" name="siteowner" value="Yes"> Yes
<input type="radio" id="siteowner_no" name="siteowner" value="No" checked> No
</TD>
</TR>
<!-- <TR></TR> -->
<TR>
<TD style="width:200px;padding-left:10px" >Your Message:</TD>
<TD colspan=3><textarea class=userfeedbackTA NAME=message ROWS=12 COLS=80 style="width:646px;"></textarea></TD>
</TR>
<!-- <TR></TR> -->
</TABLE>
<br/><br/> <a href="javascript:document.getElementById('friendForm').submit();" class="btnOrangeLrg"><span>Send Your Feedback or Question.</span></a><br/>
<br/><br/> P.S. We will use the information above only to help provide you feedback. This information will not be used for any other purpose.
</FORM>
機械化すると、次のように表示されます。
Form name: None
<GET http://www.test.com/lookup/ application/x-www-form-urlencoded
<HiddenControl(facet=sitereport) (readonly)>
<TextControl(q=e.g. yahoo.com)>>
次のコードを使用すると
for form in br.forms():
print "Form name:", form.name
print form
私の質問: - どうすれば 2 番目のフォームにアクセスできますか? (nr=1 を使用するとエラーが発生しました)
編集：
私もこのバージョンを試してみましたが、同じ結果で、2番目のフォームは表示されません:
request = mechanize.Request(url)
request.add_header("User-agent", "Mozilla/6.0 (X11; U; i686; en-US; rv:1.9.0.1) Gecko/2008071615 OS X 10.2 Firefox/3.0.1")
response = mechanize.urlopen(request)
forms = mechanize.ParseResponse(response, backwards_compat=False)
response.close()
for form in forms:
print form
編集 2
また、コードを次のように変更しようとしました。
# Cookie Jar
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
# Browser options
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
# Follows refresh 0 but not hangs on refresh > 0
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
br.addheaders = [
('Cookie','mbox=PC#1327356910232-537677#1410633293|check#true#1347561353|session#1347561287712-498080#1347563153; s_cc=true; s_sq=%5B%5BB%5D%5D; s_nr=1347561671754-Repeat'),\
('Accept-Charset','ISO-8859-1,utf-8;q=0.7,*;q=0.3'),\
('Accept-Encoding','gzip,deflate,sdch'),\
('Accept-Language','en-US,en'),\
('Cache-Control','max-age=0'),\
('Connection','keep-alive'),\
('Referer','http://www.siteadvisor.com'),\
('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1')
]
ブラウザーからヘッダー値を取得し、それらを機械化ブラウザー インスタンスにプラグインしようとしました。それでも1形態しか見えない。