いくつかのフィールド、いくつかのテキスト、およびいくつかの非表示を持つフォームを使用しています。問題は、mechanize.Browserオブジェクトが「見る」フィールドのリストを見ると、いくつかの重要な非表示フィールドが欠落していることですが、すべてではありません。この同様の質問に対する最も一般的な回答によると、これはWebページがユーザーエージェント文字列をクエリしているために発生しています。それは私には当てはまりません、そして私は2つの理由でこれを知っています：
私を助けてくれるのは、その問題に対する2番目に人気のある解決策ですが、これがなぜであるかはわかりません。Mechanizeが一部の非表示のフォームフィールドを「表示」し、他のフィールドは「表示」せず、欠落しているフィールドを手動で入力する必要があるのはなぜですか。
確かに、あなたが実際に何をしようとしているのかはわかりませんが、何年もの間 Web ページをスクレイピングしてきた者として、一方的なアドバイスをしなければなりません。あらかじめお詫び申し上げます。
JavaScript を扱えるものに移行することを強くお勧めします。Mechanize は優れたモジュールで、昔は驚くほど便利でしたが、Web は点滅するライト、CSS、クリックしなければならない踊る赤ちゃんばかりです。
私がこれを言う理由は、「隠された」フィールドが空想的なものである可能性があるか、四角いペグを丸い穴に打ち込むだけでどのように機能するかをリバースエンジニアリングしようとして何時間も無駄にするjavascriptで変更されたフォームである可能性があるためです.
私が提案する Mechanize の最新の、しかし残念ながら巨大な重量の代替品は次のとおりです。
WebKit ベースの javascript 中心の方法で Web ページと対話する方法を提供するphantomjs (ヘッドレス、これはおまけです) Qt ベースですが、しっかりしたリリース バイナリがあり、ソースからビルドする場合、実際には、同期せずに実行するために必要なすべてが含まれています。 Qtの特定のバージョンで。
QtWebKit のPySideバインディングは、学習曲線が少しある可能性がありますが、気の利いたものですが、ブラウザーの内部にアクセスして、何が起こっているのかを確認するために手を汚すことができるのは素晴らしいことです。
WebKit は、ブラウザーで Websocket サーバーを有効にし、 Inspector.jsonで定義されている API を使用して Websocket を介して駆動できる、優れた (ただし、Python では十分にサポートされていない) インターフェースも提供します。Stock Chrome はこれをすぐにサポートします。詳細については、Chrome デベロッパー ウェブサイトをご覧ください。
したがって、ほとんど WebKit が重いので、あなたが求めていることとは何の関係もありませんが、長期的には、Web を実際に自動的にナビゲートしてスクレイピングできるようになる場所です。