問題タブ [lwp]

jquery 1.6 にリンクするスクリプトを印刷するか、ローカルでホストされているコピーにリンクするかを決定する前に、Google がまだ jquery 1.6 のコピーをホストしているかどうかを確認する単純な perl サブルーチンがあります。

これは私が使用しているコードのコピーです。

このコマンド ラインでこのコードを実行すると、応答を取得するのに問題はなく、Google の jquery のコピーにリンクするスクリプト タグが適切に出力されます。しかし、html ページを構築している perl スクリプトから実際に呼び出すと、毎回何も検出されず、独自のコピーにリンクするスクリプト タグが出力されます。

この接続を停止している可能性のあるアクセス許可またはその他の種類のバリアは何ですか?

ご協力いただきありがとうございます。

注: これは、これまでのところローカル テスト サーバーでのみ実行されています。コマンド ラインもテスト サーバーで実行されています。

私の症状は、LWPを使用したHTTPS要求でプロキシを使用できないことです。これは一般的な問題のようであり、Googleのヒント、そしてここでもHTTPS_PROXYすべて、Crypt::SSLeayで使用する環境変数を設定するための回避策を示唆しています。

私の特定の問題は、LWP :: Protocol::httpsがCrypt::SSLeayではなくIO::Socket::SSLをロードしていることのようです。代わりにCrypt::SSLeayを強制的に使用するにはどうすればよいですか？

私のコード：

そしてそれは出力であり、Crypt :: SSLeayが使用されていないことを示しています：

スクリプトに明示use Crypt::SSLeayを追加するだけでは効果がないことがわかりました。モジュールをロードしますが、引き続きIO :: Socket :: SSLをロードし、HTTPS要求に使用します。

私はこのperl5プログラムを実行しようとしました：

一方、私はHTTP ::デーモンを持っています：

そしてそれはただ印刷します：

したがって、LWP ::UserAgentがHTTP基本認証を送信しないことがわかりますが、その理由はわかりません。

このWebサイトでいくつかの投稿を見ましたが、同じ基本コードがあり、機能しません...

HTTP :: Requestを使用すると、次のように機能します。

出力：

以前に何か間違ったことをしましたか？

以下は機能しています：しかし、コンテンツにアクセスするために認証が必要なWebサイトからファイルをダウンロードしようとしています（おそらく24時間で期限切れになるCookieを保存します）。

この認証をウェブサイトに提供する方法は? 認証されていないユーザーが URL (または Web サイト) にアクセスすると、認証ページにリダイレクトされ、そこでユーザー ID とパスワードを入力して Enter キー (ログイン ボタン) を押す必要があります。認証制御の後、最初に要求した URL に自動的に戻ります。

これは私がこれまでに持っているもので、認証を必要としないWebサイトで機能しています:

ここで、認証が必要な URL: https://myurl.com/file.docからこのファイルをダウンロードする必要があります : ユーザー名/パスワード。

問題定義の追加: 私の状況で通常のブラウザを使用する方法は次のとおりです:...

1. ブラウザに URL を投稿してください: https://myurl/files/file.doc
2. ログオン ページが表示されます (URL は同じように見えます)。
3. フィールド名を入力してください: ユーザー名/パスワード

4. 「OK」ボタンを押します (フィールド名 btnSubmit)

   ログインに成功した後:

5. 新しいページを取得します: https://newurl/pagSuccess/
6. このページで [OK] をクリックする必要があります (目的の場所に戻るには...)
7. 次に、ブラウザ ダイアログが表示されます。

   (ラジオ ボタン) [ファイルを保存] を選択し、[OK] を押します。

8. あなたは終わった!!! ローカルに保存されたファイル。

多くの Web リクエストを実行するために発信 IP を迅速かつ確実にマスクするにはどうすればよいですか?

1. Torは遅すぎます。10倍以上かかります。

2. Tor Tunnel はまったく機能しませんでしたhttp://www.thoughtcrime.org/software/tortunnel/

3. CPAN WWW::FreeProxyListsCom.pm が cpan ビルド テストに失敗しています。

4. CPAN WWW::FreeProxy に結果が返されない

5. CPAN HTTP::ProxySelector が結果を返さない

誰かがこれについて何か良いアドバイスを与えることができますか? 続行する最良の方法は何ですか?

免責事項：政府からのデータ収集に取り組んでいます。積極的に接続をブロックしている Web サイト。このデータは公共の利益のためのものであり、Web 管理者は情報を提供するために公共サービスを行っていません。これは怪しげなプロジェクトではなく、公共サービスのためのものです。

ここでこれまでのコードを調べることができます https://code.launchpad.net/~jamesmikedupont/aspxezxs/aspxtraktor

CPU/BW を寄付してくださる方もいます。

Windows 7 Pro で Strawberry Perl の IDE として Padre を使用しています。

Web サイトのテキスト ファイルに移動し、テキスト ファイルを読み取り/コピーする perl スクリプトを作成しようとしています。

しかし、これまでで最も単純な LWP コマンドでさえ、LWP を機能させることができません。

次のエラー メッセージが表示され続けます: 500 can't connect to proxy.sn.no:8001 (Bad hostname) eg 500 can't connect to (Bad hostname) http://www.perlmeme.org

グーグルで調べたり、Microsoft Fixit を使用してポートをリセットしたりしましたが、まだ機能しません。http://www.justskins.com/forums/lwp-connect-failing-bad-119421.html

誰か助けてくれませんか？何時間も立ち往生しています:(

編集：

--1 foreach my $key (keys %ENV) { print "$key: $ENV{$key}\n" if $key =~ m/proxy/i; }

はい、FTP_PROXY と HTTP_PROXY の両方が出力され、その後に次のように表示されます: http://proxy.sn.no:8001/

これは、このヘルプスレッドから取得したプロキシです モジュールをインストールするにはどうすればよいですか? Strawberry Perl の問題

プロキシの問題があり、そのスレッドから構成を試してみましたが、プロキシの問題はまだありました。

--2 自分の側でプロキシが使用されるとは思っていません。Perl スクリプトを Web サイトに接続して、テキスト ドキュメントを取得したいだけです。

--3 ping の損失は 0% でした。(この投稿には 2 つのハイパーリンクしか投稿できません)

--4 Windows を使用しています。

LWP::RobotUAを使用して自分のWebサイトをチェックするスクリプトを作成しました。robots.txtの頻繁なリクエストは避けたいと思います。

LWP :: RobotUAのrulesパラメーターでそれらを指定できるはずですが、「すべてのページを許可する」ために何を渡す必要があるのか​​わかりません。

Perl スクリプトの一部として、次の単純なコマンドを使用して、ファイルをダウンロードし、$urlその内容をファイルに保存します$file。

これは、Fedora Linux で実行すると完全に正常に動作しますが、Windows で同じコードを実行すると、$file空のままのようです。

前述したように、コードに変更はなく、このコマンドは非常に基本的なものであるため、これは非常に奇妙です。

なぜそのような動作が発生するのか、誰かが手がかりを持っているのではないでしょうか?

ありがとう！

日付は明らかにjavascript関数に渡される引数であるため、特定のWebページから日付を取得するのに問題があります。私は過去に大きな問題のないいくつかの簡単なスクレーパーを書いたので、問題は予想していませんでしたが、これに苦労しています。このページには、このdateFormat（ '2012/02/07'）のような通常のyyyy / mm / dd形式の5〜6の日付があります

理想的には、配列に保存したい半ダースの日付を除くすべてを削除したいと思います。現時点では、すべての日付は言うまでもなく、1つの日付を取得することすらできません。おそらく、私がこれ以上見つけることができないほど長い間それを探していたのは、単なる不正な正規表現です。

Q1。以下の正規表現と一致しないのはなぜですか？

Q2。上記の質問に続いて、どのようにしてすべての日付を配列にスクレイプできますか？ページ上の日付をx個と想定し、ループをx回実行し、キャプチャしたグループをループごとに配列に割り当てることを考えていましたが、それはかなり不格好なようです。

問題コードは次のとおりです。

スクレイピングしようとしているサイトに関連して、別の問題に遭遇しました。

基本的に、ページのコンテンツから不要なもののほとんどを削除しました。ここで提供されたいくつかの助けのおかげで、必要な日付を分離することができました。非改行スペースに一致するいくつかの初期の問題にもかかわらず、そのほとんどは正常に機能しているようです。ただし、データの各行をフィールドに分割することを目的とした最終的な正規表現で問題が発生しています。各線は株価指数の価格を表します。各行のフィールドは次のとおりです。

1. ラテン アルファベットの文字と、場合によってはカンマまたはアンパサンドからなる任意の長さの名前で、数字は含まれません。
2. 小数点以下 2 桁の数値 (インデックスの絶対値)。
3. 小数点以下 2 桁の数値 (値の変化)。
4. 小数点以下 2 桁の数値の後にパーセント記号 (値の変化率) が続きます。

分割前の文字列の例を次に示します。 13% 紙・パルプ333.31-0.29-0.09% 化学品729.406.010.83%

この行を分割するために使用している正規表現は次のとおりです。

$mystr =~ s/\n(.*?)(\d{1,4}\.\d{2})(\-?\d{1,3}\.\d{2})(.*?%)\n/\n$1 == $2 == $3 == $4\n/ig;

時々機能しますが、そうでない場合もあります。なぜこれが必要なのかわかりません。(以下の出力例の二重の等号は、フィールドの分割をより見やすくするために使用されています。)

マイナス記号は、インデックスの価格にマイナスの変化が見られたインデックスにとって問題だと思いましたが、マイナス記号にもかかわらず機能する場合があります.

Q. 以下に示す最終的な正規表現がフィールドを一貫して分割できないのはなぜですか?

サンプルコードは次のとおりです。