問題タブ [www-mechanize]

私がスクリーンスクレイピングしていたサイト（私がクレジットを持っている）は最近サーバーを変更し、ポート80をブロックしました。httpsにポート443を使用できると思っていましたが、タイムアウトエラーが発生しました。新しいWWW::Mechanizeオブジェクトを作成し、get（）を使用してサイトをスクレイプしています。

私の質問は、httpsを使用するようになったのでCookieを追加する必要がありますか？

これはクッキージャーを追加する正しい方法ですか？

これはエラーです：

ログインしようとしています...2010-04-2214 :00:08 POSTの
エラー
https：// theURL / j_security_check：
ログインプロセスに許可された時間を超えました。続行する場合は、もう一度クリックして要求したリンクを再度クリックするか、ブラウザを閉じて再度開きます（lib / mypackage.pmの40行目）。

これはCookieの問題でもありますか？

ブラウザでサイトにログインしても、ログインまでに60〜90秒かかるように感じますが、ログイン時間を長くする方法はありますか？

このコードを実行すると、次のエラーで停止します。

/usr/share/perl5/vendor_perl/WWW/Mechanize.pm
行 1348 で、未定義の値に対してメソッド "値" を呼び出すことができません。

HTTPS経由でアクセスできるサイトをスクレイピングしています。ログインしてプロセスを開始できますが、新しいページ（URL）にアクセスするたびにCookieセッションIDが変更されます. ログインした Cookie セッション ID を保持するにはどうすればよいですか?

出力：

また、サイトにはCERTが必要だと思います（ブラウザではそうです）が、これを追加する正しい方法でしょうか？

CERT についても、このリストの最初のオプションを使用する場合、これは正しいですか?

Perl のWWW::Mechanizeを使用して銀行にログインし、取引情報を取得しようとしています。ブラウザーを介して私の銀行 (Wells Fargo) にログインした後、一時的な Web ページが表示され、「身元が確認されるまでお待ちください」というメッセージが表示されます。数秒後、銀行のデータを取得できる銀行の Web ページに進みます。唯一の違いは、URL には、sessionID パラメータしかない一時ページの URL に追加されたいくつかの「GET」パラメータが含まれていることです。

WWW::Mechanize をログイン ページから正常にログインさせることができましたが、一時ページでスタックしてしまいます。<meta http-equiv="Refresh"ヘッダーに ... タグがあるので、試してみまし$mech->follow_meta_redirectたが、その一時ページも通過できませんでした。

これを乗り越えるための助けをいただければ幸いです。前もって感謝します。

一時ページでスタックするベアボーン コードは次のとおりです。

プラグインが新しいタブだけでなく常に新しいウィンドウを開くように、WWW :: Mechanize :: Plugin :: Displayを構成するにはどうすればよいですか？

背景: すべてのユーザーの更新されたデータを取得する必要があります。データは安全なサイトに存在するため、スクリプトは (Cookie を使用して) ログインする必要があります。いくつかの内部 URL をトラバースしてから、必要なデータを取得します。

ツール: WWW::Mechanize または Curl

私のニーズに最適なツールは何ですか? 多くのユーザーに更新されたデータを取得する必要があるため、更新されたデータをできるだけ早く取得する必要があるため、パフォーマンスは大きな問題です。

WWW::Mechanize ライブラリを使用して複数のリクエストを起動することは可能ですか?

アップデート：

Curlを使用して実行しました。しかし、Mechanize を使用して高速化できると考えていました。HTTP 要求に関してどのライブラリのパフォーマンスが優れていますか? 統計はありますか？現在、マルチインターフェイスで Curl を使用しています。

Web サイトからリンクを取得してテキスト ファイルに保存するスクリプトを作成しました。

今、私は正規表現に取り組んでいるのでphp?dl=、テキストファイルからURLに含まれるリンクを取得します:

例えば：www.example.com/site/admin/a_files.php?dl=33931

dlサイトのボタンにカーソルを合わせると、ほとんどのアドレスが表示されます。クリックしてダウンロードするか、「右クリックで保存」できます。

ファイルをダウンロードする指定されたアドレスのコンテンツをダウンロードする必要があるため、これを達成する方法について疑問に思ってい*.txtます。もちろんすべて台本から。

I am trying to download a file from a site using perl. I chose not to use wget so that I can learn how to do it this way. I am not sure if my page is not connecting or if something is wrong in my syntax somewhere. Also what is the best way to check if you are getting a connection to the page.

これが私の最後の質問です。$mech->follow_linkを使用してファイルをダウンロードしようとしています。何らかの理由で、保存されたファイルは私が最初にプルアップしたページであり、私がたどりたいリンクではありません。これは、リンクからファイルをダウンロードする正しい方法ですか？wgetは使いたくない。

正規表現を使用してリンクをキャッチしようとしていますが、できません。私はすべてのリンクを持っていますが、望まないリンクがたくさんあります。

私がしていることは、すべてのリンクを取得 http://valeptr.com/scripts/runner.php?IM= することです。このパターンに準拠するためです。

私がやっているスクリプトを入れます：

PS: この正規表現は見られるだけでなく、見られないものになると思います。もしそうなら、同じ投稿をするために戻ってきます。

問題: リンクのヒープがあり、上司と一緒に有効期限が切れるリンクを調整する必要があります: Http: // valeptr.com/scripts/runner.php?IM= 19 行目で、式を適用する必要があります。この変数 my @links=$Explorador->links; 彼は存在するすべてのリンクを返します。しかし、私は上に置いたリンクだけをコジャーにしたい. 心から、