2

私は機械化を使用して、このサイトからニューヨークのメトロノース鉄道の価格を取得しようとしています:
http://as0.mta.info/mnr/fares/choosestation.cfm

問題は、最初のオプションを選択すると、サイトが JavaScript を使用して目的地候補のリストを作成することです。Python で同等のコードを記述しましたが、すべてが機能していないようです。これが私がこれまでに持っているものです：

import mechanize
import cookielib
from bs4 import BeautifulSoup

br = mechanize.Browser()
br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1)     Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

br.open("http://as0.mta.info/mnr/fares/choosestation.cfm")

br.select_form(name="form1")
br.form.set_all_readonly(False)

origin_control = br.form.find_control("orig_stat", type="select")
origin_control_list = origin_control.items
origin_control.value = [origin_control.items[0].name]

destination_control_list = reFillList(0, origin_control_list)

destination_control = br.form.find_control("dest_stat", type="select")
destination_control.items = destination_control_list
destination_control.value = [destination_control.items[0].name]

response = br.submit()
response_text = response.read()
print response_text

このメソッドのコードは長いので提供していませんがreFillList()、mechanize.option オブジェクトのリストが正しく作成されると仮定します。Python は何も文句を言いませんが、送信すると、このアラートの html が表示されます。

「2 つの路線間の運賃情報はオンラインでは入手できません。詳細については、カスタマー インフォメーション センター (511) に連絡し、担当者に相談してください。」

ここで何か不足していますか？助けてくれてありがとう！

4

1 に答える 1

2

ステーション ID がわかっている場合は、自分でリクエストを POST する方が簡単です。

import mechanize
import urllib

post_url = 'http://as0.mta.info/mnr/fares/get_fares.cfm'

orig = 295 #BEACON FALLS
dest = 292 #ANSONIA

params = urllib.urlencode({'dest_stat':dest, 'orig_stat':orig })
rq = mechanize.Request(post_url, params)

fares_page = mechanize.urlopen(rq)

print fares_page.read()

特定の開始 ID (つまり のバリアント) の宛先 ID のリストを検索するコードがある場合は、refillList()組み合わせごとにこの要求を実行できます。

import mechanize
import urllib, urllib2
from bs4 import BeautifulSoup

url = 'http://as0.mta.info/mnr/fares/choosestation.cfm'
post_url = 'http://as0.mta.info/mnr/fares/get_fares.cfm'

def get_fares(orig, dest):
    params = urllib.urlencode({'dest_stat':dest, 'orig_stat':orig })
    rq = mechanize.Request(post_url, params)

    fares_page = mechanize.urlopen(rq)
    print(fares_page.read())

pool = BeautifulSoup(urllib2.urlopen(url).read())

#let's keep our stations organised
stations = {}

# dict by station id
for option in pool.find('select', {'name':'orig_stat'}).findChildren():
    stations[option['value']] = {'name':option.string}

#iterate over all routes
for origin in stations:
    destinations = get_list_of_dests(origin) #use your code for this
    stations[origin]['dests'] = destinations

    for destination in destinations:
        print('Processing from %s to %s' % (origin, destination))
        get_fares(origin, destination)
于 2012-06-14T19:29:34.993 に答える