問題タブ [twill]

ログインとパスワードをPythonスクリプトからeBayサインイン ページに渡そうとしています。後でこのスクリプトを「 Google App Engine」から実行したい

「機械化」の使用を提案されました。残念ながら、私にはうまくいきませんでした：

以前、私はPythonとtwillを使用しようとしていましたが、いずれも機能しませんでしたが、1 人のサポーターがmechanizeの最新バージョンをダウンロードして次の手順を実行するよう提案するまでは機能しませんでした。

1. コンピューターで次のフォルダーを見つけます: " C:\Python25\Lib\site-packages\twill\other_packages\_mechanize_dist "

2. その名前を「_mechanize_dist_backup」に変更します (したがって、フル パスは「C:\Python25\Lib\site-packages\twill\other_packages\_mechanize_dist_backup」である必要があります)。

3. 「 mechanize」フォルダー (「mechanize-0.2.2 」にあります - 「mechanize 」公式サイトからダウンロードして解凍したフォルダー) をコピーし、「 C:\Python25\Lib\site-packages」に貼り付けます。 \twill\other_packages " (フル パス、つまり " C:\Python25\Lib\site-packages\twill\other_packages\mechanize ")

4. その名前を「_mechanize_dist」に変更します (フル パスは「C:\Python25\Lib\site-packages\twill\other_packages_mechanize_dist」です)。

5. 「 _mechanize_dist_backup 」から「 ClientForm」ファイルをコピーし、「 _mechanize_dist」に貼り付けます(実際、「 ClientForm 」という名前の 2 つのファイルが見つかりました。1つは Python ファイルで、もう 1 つはコンパイル済みの Python ファイルです。両方をコピーして貼り付けました。彼ら）。

これらの手順をすべて実行した後、 PythonのツイルシェルからeBayアカウントにログインしようとしましたが、うまくいきました!!! 同じ方法でYahooのメールボックスにログインして、メールをチェックすることもできました!

しかし今、ジレンマがあります。自分のスクリプトを " Google App Engine "にデプロイする方法がわかりません。

以前、 App Engineプロジェクトでサードパーティ ライブラリを使用する場合は、アプリケーションをデプロイするときにそれらをアプリケーションに含めるだけでよいとアドバイスされていました。たとえば、 twill の場合、 twill フォルダをコピーするだけで済みます。アプリケーションのフォルダーに入れ、デプロイします。

しかし、このツイルフォルダーをサード パーティのライブラリとして含めるだけでなく、これらすべての変更を " C:\Python25 " (" C:\Python25\Lib\site-packages\twill\other_packages 内) で実行しました。 "、正確に言うと) 私のアプリケーション フォルダー (スクリプト (" my_script .py" ファイル) があるフォルダー) は " E " ディスクにあります。

誰か、ここで何か提案してもらえますか?

ディレクトリ「 my_application 」にGAEアプリケーションを作成しました。このディレクトリ内に .py ファイルを作成し、「my_scrypt」という名前を付けました。

最初の「 my_scrypt 」の内容は次のとおりです。

次に、自分のマシン ( Windows XP ) のインストール済みブラウザー ( Mozilla FireFox ) で " GAE Launcher "を使用してローカルで実行しました。

次に、このアプリケーションをGAEにデプロイしました (再び " GAE Launcher " を使用) - すべてが正常に戻りました - 画面に同じ文が表示されました。

次に、「my_scrypt」の内容を少し変更しました。

「twill0.9」をダウンロードし（hereから）、そこから「 twill」フォルダーを選択してコピーし、「 my_application」ディレクトリに貼り付けました。

この新しいアプリケーションをローカルで (「GAE Launcher 」を使用して) 実行したところ、すべて問題ありませんでした。画面にyahoo.comのリンクのリストが表示されましたが、このアプリケーションをGAEにアップロードすると、エラー メッセージしか表示されませんでした。

なぜそうなのですか？ここでtwillが使用しているmechanizeのバージョンが古すぎるためではないと思います。「 my_script」のコードは非常に単純なので、どのバージョンのmechanizeでも処理できる必要があります。

GAEは(外部モジュールとして)ツイルを受け入れますか?

エラーのスタック トレースは、すぐ下の「Update 1」セクション (↓) で確認できます。

更新 1:

（この更新はニックへの私の答えです）

こんにちは、ニック。管理コンソールを確認したので、スタック トレースを以下に示します。

「ツイル」のドキュメントページには、次のように書かれています。

デフォルトでは、twillはページを処理する前にtidyを実行します。これはデフォルトで有効になっています。これは、HTMLを解析するPythonライブラリが 正しくないHTMLを処理するのが非常に苦手であり、「実際の」Web ページで間違った結果を返すことがよくあるためです。この機能を無効にするには、config do_run_tidy 0を設定します。

しかし、このきちんとしたプログラムはtwillのどこにあるのでしょうか? 「 twill 0.9」をダウンロードして、「 twill 」フォルダーの内容を調べましたが、「 tidy」という名前のファイル (またはモジュール) が見つかりません。

Webクローラーを作成するためにツイルとPythonを使用しています。showforms（）は

読みやすくするために、ほとんどの行を削除しました。私の問題は、実際には12の選択があり、それらすべてに「クラス」という名前が付いていることです。これらはリストとしてCGIを通過します。しかし、ツイルはそれらを区別できないようです。また、私が走るとき

次のエラーが発生します。

選択範囲の名前をIDで変更し、submit関数を書き直してjQueryセレクターを使用し、「name」属性を「classes」に再割り当てするなど、いくつかの回避策を試しました。

これをブラウザで見ると、期待通りに再割り当てされているようです。ただし、ツイルのヘッダーには、「classes1」、「classes2」などの名前で送信するものとして表示されます。

どんな助けでも大歓迎です。私が知っている回避策がありません。これは私のページではないので、「クラス」が選択するリストに対するコントローラーの期待に縛られています。

MIMEタイプが「application/json」のドキュメントを取得する必要があります。ツイルを使用してサイトにログインしてgoいますが、JSONドキュメントを指すURLにアクセスしようとするshowと、次のメッセージが表示されます。

「Accept」フィールドを「application/json」に変更しようとしましたが、まだサイコロがありません。

ありがとう！！

Twill ブラウザー インスタンスから Zope ブラウザー インスタンスに Cookie を転送する方法を見つけようとしています。どちらも Mechanize 上に構築されているため、これは可能です。

私が試してみました：

しかし、それはうまくいかなかったようです。

何か案は？

ありがとう！

twillとdjango-test-utilsを使用してdjangoアプリケーションをテストしていますが、ログインしていません。

djangoセッションCookieを設定していないと思います。を呼び出すWebページ（ツイル）にアクセスすると、request.session.set_test_cookie()呼び出しが戻った後twill.show_cookies()（Cookieを印刷する必要があります）、Cookieが表示されません。別のページ/ビューで、をrequest.session.test_cookie_worked()返しますFalse。

奇妙なことに、別のページではrequest.set_cookie(...)、手動でCookieを設定するための呼び出しがあり、それは機能します。twill.show_cookies()そのクッキーを示しています。そのため、一部のCookieは機能していますが、セッションミドルウェアが機能していないようです...

何が起こっているのでしょうか？djangoセッションCookieをツイルに設定するにはどうすればよいですか？

他の何人かの人々は同様の問題を抱えています、例えばdjango-users、別のツイル/djangoスクリプトのクッキーについてコメント

私はグーグルアドセンスの収益を取得するPythonスクリプトが必要です、そして私はアドセンススクレーパーを見つけました：http： //pypi.python.org/pypi/adsense_scraper/0.5 それはグーグルアドセンスの収益データをスクレイプするためにTwillとhtml5libを使用します。使用すると、次のエラーメッセージが表示されます。

したがって、重要なことは次のとおりです。

誰かがエラーがどこにあるか教えてもらえますか？Python経由でデータを取得するさらに良い方法はありますか？ありがとう

Python の Twill モジュールを使用して、Web サイトから情報を収集および解析するための単純なコマンド ライン プログラム (かなり一般的) を作成しています。Twill の show() コマンドを使用して HTML 出力を変数に割り当て、解析コマンドでページを実行したいのですが、変数に割り当てるたびに...

コマンド ライン (さらに言えば、IDLE) に大量の HTML が殺到します。どうしてこれなの？変数を印刷するように求めているわけではありません。変数の近くに印刷コマンドはありません。さらに操作するために割り当てたいだけです。変数の割り当てによって印刷が発生するのはなぜですか? 致命的なエラーなどではなく、本当に、本当に不便です。私は Python 2.6、Twill 0.9、および Ubuntu を使用しています。

twillスクリプトを実行してWebページをダウンロードした場合、twillスクリプトはページ上で任意のjavascript（インラインまたはその他）を実行しますか？それは正しく行われますか？

公式のツイルサイトは、ツイルがjsをサポートしているかどうかを示していないようです（サポートしていないと思います）