python - Python で Web ページにログインしてデータをスクレイピングする

Question

MWO Mercs から統計データを抽出する Webscraper を構築しようとしています。これを行うには、ページにログインしてから、6 つの異なる統計ページを通過してデータを取得する必要があります (これは後でデータベースに入りますが、それは私の質問ではありません)。

ログイン フォームを以下に示します ( https://mwomercs.com/login?return=/profile/stats?type=mechから)- データEMAILとPASSWORDが必要で、投稿する必要がある 2 つのフィールドがあることがわかります。次に、 http://mwomercs.com/profile/stats?type=mechを開く必要があります。その後、さまざまな統計ページを循環するセッションが必要です。

urllib、mechanize、requestsを使用してみましたが、正しい答えがまったく見つかりませんでした - requestsを使用したいと思います。

同様の質問がstackoverflowで行われていることは承知していますが、非常に長い間検索しても成功しませんでした。

提供できる助けをありがとう

<div id="stubPage">
    <div class="container">
        <h1 id="stubPageTitle">LOGIN</h1>
        <div id="loginForm">
            <form action="/do/login" method="post">

                <legend>MechWarrior Online <a href="/signup" class="btn btn-warning pull-right">REGISTER</a></legend>


                <label>Email Address:</label>
                <div class="input-prepend"><span class="add-on textColorBlack textPlain">@</span><input id="email" name="email" class="span4" size="16" type="text" placeholder="user@example.org"></div>

                <label>Password:</label>

                <div class="input-prepend"><span class="add-on"><span class="icon-lock"></span></span><input id="password" name="password" class="span4" size="16" type="password"></div>

                <br>
                <button type="submit" class="btn btn-large btn-block btn-primary">LOGIN</button>

                <br>
                <span class="pull-right">[ <a href="#" id="forgotLink">Forgot Your Password?</a> ]</span>

                <br>
                <input type="hidden" name="return" value="/profile/stats?type=mech">
            </form>
        </div>
    </div>
</div>