問題タブ [lwp]

Perl/LWPでWebクローラーを構築しています。WebCrawlerは、次のようなASP.NETグリッド内のリンクをどのようにたどることができますか。

Web アプリケーションにログインしてから、アプリケーションの他の部分に移動するスクリプトを書きたいと思います。

このコードを試すと、アプリケーションにログインできません。返される HTTP ステータス コードは 302 ですが、データはありません。

ユーザー名/パスワードと必要なものをすべて投稿すると、アプリケーションのホームページが返され、接続を維持してアプリケーションの他の部分を移動する必要があります。

私はPerlを使用してWeb経由でいくつかのページをフェッチしておりLWP::UserAgent、可能な限り丁寧になりたいと思っています。デフォルトでは、 LWP::UserAgentgzipを介して圧縮コンテンツをシームレスに処理しません。誰もが帯域幅を節約するために、そうする簡単な方法はありますか？

私はWWW::Mechanizeを使用して標準的な Web サイトのトラバーサルを行っていますが、ある時点で特別な POST リクエストを作成して送信する必要があります。これにはすべてセッション Cookie が必要です。

私が作成している POST リクエストでは、スペースは + 記号にエンコードされていますが、%20 としてエンコードする必要があります。

この動作を変更する方法がわかりません。それらが同等であることは理解していますが、私の手に負えない理由により、これが私がしなければならないことです.

助けてくれてありがとう。

多数の HTTP ポスト リクエストを実行し、レスポンスを無視する必要があります。現在、LWP::UserAgent を使用してこれを行っています。応答を待っているのか、それとも何なのかはわかりませんが、速度を上げて応答を無視する方法はありますか?

Perl モジュールLWP::Simpleを使用する場合、1 回の getstore() 呼び出しでダウンロードされる速度と量を簡単に判断する方法はありますか? これは、大きなファイルのダウンロードのステータスを監視するのに役立ちます。

私の頭の上から、1つのアプローチは次のとおりです。

1. 現在の時刻を保存する (time0)
2. 新しいプロセスで getstore を実行する
3. 既知の宛先ファイルをポーリングする
   • ダウンロードされた量は、現在のファイル サイズ (サイズ) になります。
   • ダウンロード速度は (size / current_time - time0)

もっと簡単な方法がないか考え中です。

別の提案を歓迎します (おそらく、別のモジュールを使用する必要がありますか?)

保護されたファイルにアクセスしようとしています。サーバーはダイジェスト認証を使用しています。これは、出力された応答から確認できます。サンプルコードは次のとおりです。

ブラウザからそのリソースにアクセスしようとしたときに表示されるポップアップ ウィンドウから取得したレルムの名前。同じユーザー名とパスワードがブラウザで非常にうまく機能しており、コンテンツを表示できますが、上記のスクリプトを実行すると常に401 Authorization required.

LWP はどのように機能しますか?

LWP にユーザー名とパスワードの MD5 ハッシュ (ダイジェスト) を送信するように依頼する必要がありますか?それとも、使用する認証を内部的にチェックし、資格情報を送信する対応する (基本/ダイジェスト) 方法を送信するようなものですか? 私の質問は

1. ユーザー名とパスワードのダイジェストを送信するように LWP を設定するにはどうすればよいですか?
2. サーバーが Windows NTLM 認証プロトコルを使用している場合はどうなりますか? このような状況で、私はどのように行動すればよいでしょうか？

迅速なヘルプをいただければ幸いです。

LWP::UserAgent->request()fromからの戻り値には、HTTP応答のヘッダーと本文の両方が含まれていることがわかりました。解析を行うために応答の本体が必要なだけですが、どうすればよいですか？

これは SO に関する私の最初の投稿なので、お手柔らかにお願いします。これがここに属しているかどうかさえわかりませんが、ここに行きます。

個人アカウントの 1 つの情報にアクセスしたいと考えています。Web サイトの記述が不十分で、情報が必要な日付を手動で入力する必要があります。それは本当に苦痛です。Perl をもっと学ぶための言い訳を探していたので、これは絶好の機会だと思いました。私の計画は、自分のアカウントにログインして情報を照会する Perl スクリプトを作成することでした。しかし、私はすぐに立ち往生しました。

結果の Web ページには、基本的に、私の Web ブラウザーはサポートされていないと表示されます。私はいくつかの異なる値を試しました

しかし、何も機能していないようです。Google で調べてみるとこの方法が提案されていますが、Web サイトで悪意のある理由で perl が使用されているとも書かれています。Web サイトはこの方法をブロックしますか? 私がやろうとしていることは可能ですか？より適切な別の言語はありますか？私がやろうとしていることは合法ですか、それとも良い考えですか? たぶん、私は自分の努力を放棄する必要があります。

個人情報を漏らさないようにするために、ここに書いたコードは、私が使用しているコードとまったく同じではないことに注意してください。しかし、それがかなり明白だったことを願っています。

編集: FireFox では、JavaScript と CSS を無効にしました。「互換性のないブラウザ」エラーなしで問題なくログインできました。JavaScriptの問題ではないようです。

ここで説明されているように、LWP 機能を使用して gzip でエンコードされたコンテンツを処理しましたが、少なくともテストした 1 つの Web サイトで予期しない結果がランダムに得られる場合があり$response->decoded_contentます$response->content。内部文字セットのデコード ( decoded_content(charset => 'none')) なしでも試してみましたが、結果は同じでした。