問題タブ [mechanize-python]

私は、ウェブサイトとの対話を自動化するためのPythonモジュールであるmechanizeの使用方法を学んでいます。

1つの機能は、Cookieの自動処理です。mechanize.Browserデバッグの目的でインスタンスからCookieをダンプしたいのですが、これを自分で理解できないようです。

ツイルと機械化に関するいくつかの質問：

1. ツイルはまだウェブ自動化ツールとして関連していますか？はいの場合、なぜ現在維持されていないのですか？いいえの場合、Mechanizeはツイルスタイルのシンプルなスクリプトをサポートするためにさらに成熟しましたか？または、ギャップを埋めるためにステップアップした別のパッケージはありますか？

2. Twillを使用してPythonでいくつかのテストスイートをすばやくセットアップできましたが、TwillがPythonプログラムで吐き出す情報にアクセスする方法について少し混乱しています。つまり、showforms（）を実行して、フォームの値がきちんとリストされていることを確認し、fvを使用してフォームの値を更新して送信することができます。しかし、Python変数としてこれらのフォーム値の1つにアクセスするにはどうすればよいですか？どうすれば次のように言うことができますか？someField1Value = fv("1","someField1")

mechanize + Google App Engine に関する以前の質問を認識してい ます。ウェブサイトをスクレイピングするには、どの純粋な Python ライブラリを使用する必要がありますか? Mechanize と Google App Engine 。

また、ここにいくつかのコードがありますが、これはアプリエンジンで動作することができず、スローされます

作業中の機械化 + appengine コードを共有してくれる人はいますか?

与える：

そして、私は混乱しています。2.6と2.7のモジュールをインストールしましたが、同じ結果になりました...

スクリプトを使用して、ウェブサイトがスムーズに動作するかどうかをテストしています。基本的には 20 分ごとにサイトを開いて、応答時間などを確認しています。このような：

Python 自体がガベージ コレクションを実行することはわかっていますが、気にする必要はありませんが、ネットワーク モニターを確認すると、それぞれ 1 時間以上実行されているいくつかの閉じられていない接続が常に見つかります。そして、開かれた接続のすべてがそこでハングするわけではなく、一部だけです。私は混乱していますか、これらのインスタンスを手動で破棄する方法がありますか?

OK、これは、アカウントにログインしているときにライブ HTTP ヘッダーから取得したヘッダー (ほんの一例) 情報です。

通常、次のようにコーディングします。

上記のコードは正常に動作します。私の質問は、LoginHeader機械化ではなく、Firefox のサーフィンのように見えるようにするために、これらの次の行 (および以前のヘッダー情報にさらに追加) を追加する必要がありますか?

「本物」に見えるようにするには、ヘッダー情報のどの部分/いくつをスプーフィングする必要がありますか?

http プロキシと Mechanize モジュールを使用しています。mechanize オブジェクトを初期化し、次のようにプロキシを設定します。

次に、次のようにサイトを開きます。

私の問題は、機械化がプロキシを完全に無視しているように見えることです。br オブジェクトをデバッグして調べると、プロキシ ハンドラの下にプロキシ設定が表示されます。ただし、私が悪いプロキシを指定しても、Mechanize はプロキシを設定しなかったかのように動作します。何を与える？

編集：私も試しました：

また、私のプロキシも無視しているようです。(有効なプロキシを指定していませんでした。URLError で失敗するべきではありませんか?)

機能とパフォーマンスの両方をテストする必要がある Web アプリがあり、使用する予定のテスト スイートの一部は既に Python で記述されています。私が最初にこれを書いたとき、私は Web スクレイピングの手段として mechanize を使用しましたが、私がやろうとしていることには大きすぎるようです (それか、何かが足りないかのどちらかです)。

私がやろうとしていることの基本的なレイアウトは次のとおりです。すべてオブジェクトです。

• ユーザーには Comm があります (以前は、自分のものと機械化の間のインターフェイスでした)
• Commにはブラウザがあります（私のCookieJar、urllib2、およびBeautifulSoupオブジェクトを保持し、以前は機械化されていました）
• ブラウザにはフォームがあります（以前は機械化処理されていました）

さて、スレッドに関する限り、私はそれをダウンしています。GIL を処理することと、Python の別のインスタンスを実行することとの間の調整は、必要に応じて行われますが、提案は行われます。

したがって、私がする必要があるのは、スレッド ユーザーがアプリケーションを実行し、さまざまなこと (ログイン、フォームへの入力、処理のためのフォームの送信など) を実行する一方で、テスト ボックスが大声で叫ばないようにすることです。機械化に関する私の現在の問題はRAMのようです。

RAM の問題の原因の1 つJSESSIONIDは、別のユーザーと何かを行うたびに Cookie を上書きしないようにするために、ユーザーごとに個別のブラウザー インスタンスが必要なことです。

これの多くは些細なことのように思えるかもしれませんが、ここでは何千ものスレッドを実行しようとしているので、少しの調整が大きな意味を持ちます。どんな入力でも大歓迎です。

mechanize モジュールを GAE で動作させようとしましたが、うまくいきませんでした。mechanizeの最新バージョンと、ここ Python Mechanize + GAEpython codeからの GAE 固有のバージョンを使用しました。

私がしたいことは、ウェブサイトにログインしてフォームを送信することです。

サンプルコード

機械化モジュールを使用すると、

そしてgaemechanizeで私は得る

コードはテストされており、gae の外で動作するため、これは問題ではありません。これが役立つ場合、私はkayフレームワークを使用しています。

FirefoxでHTTPPOSTを実行するときにLiveHTTPヘッダーを使用してヘッダー情報を確認しました。次に、mechanizeを使用してこれを実行しようとすると、400の不正な要求エラーが発生しました。これが私のコードです：

変数はLiveHTTPHeadersからコピーされますが、それでも400エラーが発生します。何か足りないものはありますか？