問題タブ [rcurl]

次のようなリンクがあります。

http://webfund6.financialexpress.net/clients/zil/pricetable.aspx?User=PUBLIC&Region=ROW&Range=VISTA&Currency=HKD

ファンドの価格を毎日スクレイピングしたいのですが、最初のページをスクレイピングしてRでパッケージ化することはできますXMLがRCurl、2ページ目以降の残りの資金については、javascript（javascript:SetPageIndex('1');）でナビゲートされます。

javascript でナビゲートされたページをスクレイピングするにはどうすればよいですか?

ループを使用して、rcurl複数のページからデータをスクレイプしています。これは、特定の時間には正常に動作しているように見えますが、サーバーが応答しないためにタイムアウトが発生すると失敗します。

timeout=30タイムアウトエラーをトラップするを使用していますが、タイムアウト後にプログラムが停止します。タイムアウトが発生したときにプログラムが次のページに進むようにしたいのですが、これを行う方法がわかりませんか?

これは、タイムアウトの原因となる私が使用しているステートメントです。興味があれば、喜んでコードを共有します。

ウッドワードjj

RCurl および XML パッケージをインストールしようとすると、Windows でエラーが発生します。R 2.15.0 と 2.15.1、cran.r-project.org と www.omegahat.org/R、およびバイナリとソースを試しました。助言がありますか？ありがとう。

ダウンロードしたソース パッケージは次の場所にあります。

C:\Documents and Settings\Administrator\Local Settings\Temp\RtmpclrXFX\downloaded_pa​​ckages

いくつかのパッケージをインストールするのに本当に問題がありますが、根本的な原因は主にライブラリがないことです。ここでは一例を挙げます。

R-2.15.2内

ライブラリパスを提供するためにいくつかのことを試みましたが、成功しませんでした。

また：

「同意する」ボタンを押して Cookie を保存する必要がある https ページからファイルをダウンロードしようとしています。この答えがどこかで明らかである場合、私の謝罪..

Chrome で直接 Web ページを開いて [同意する] をクリックすると、ファイルのダウンロードが自動的に開始されます。

http://www.icpsr.umich.edu/cgi-bin/bob/zipcart2?path=SAMHDA&study=32722&bundle=delimited&ds=1&dups=yes

この例を複製しようとしましたが、hangseng Web サイトが実際に Cookie/認証を保存しているとは思わないため、その例だけで十分かどうかはわかりません。

さらに、SSL は認証を複雑にしていると思います。getURL() 呼び出しには cainfo = system.file("CurlSSL", "cacert.pem", package = "RCurl")) のような証明書の仕様が必要になると思うからです。

私は RCurl の初心者すぎて、この Web サイトがかなり難しいのか、それとも明らかな何かが欠けているだけなのかを知ることができません。

ありがとうございました！

重複の可能性:
cURL 、変数へのリダイレクト URL を取得する

http://weblogo.berkeley.edu/logo.cgiで Rcurl と WebLogo を使用してシーケンス ロゴをプロットしようとしています。

私はこれを試しましたが、入力されたフォームのhtmlを返すだけです(つまり、送信されていません)。送信のタイムラインを調べたところ、生成された画像がリダイレクト経由であることがわかりました。どうすればそのイメージにたどり着くことができますか？

また: .cgifields のポイントは何ですか? それは多くの例にありますが、その目的は何ですか?

私はこの問題を抱えています：

と：

B-cycle ページ (www.bcycle.com/whowantsitmore.aspx) で、投票の場所と値を収集しようとしています。

URL http://mapservices.bcycle.com/bcycleservice.asmxは SOAP サービスです。

ドキュメントに基づいて、私はそれを正しく行っていると信じていますが、入力パラメーターの解析によりエラーが発生します。パラメータなしで関数を呼び出しても、エラーが発生します。

これは、関数内の次のコードによるものです。

したがって、.SOAP 関数を直接使用しようとしました。

サーバーに接続できましたが、次のエラーが表示されます。

これらは、私がこれまでに試みたが成功しなかったオプションです。

Python を使用して getCities をリクエストできましたが、何も返されませんでした。

この R に焦点を当て続けることに本当に興味がありますが、Python を使用すると、問題が何であるかをより簡単に把握できる場合があります。

何か案は？

RCurl を使用してバイナリ ファイルをダウンロードする例の多くは次のようなものです。

ダウンロードが非常に大きい場合は、すべてをメモリにフェッチするのではなく、ストレージ メディアに同時に書き込む方がよいと思います。

RCurl のドキュメントには、チャンクごとにファイルを取得し、ダウンロード時に操作する例がいくつかありますが、それらはすべてテキスト チャンクを参照しているようです。

実際の例を教えてください。

アップデート

ユーザーは、バイナリ ファイルのオプションを指定して R ネイティブdownload fileを使用することを提案しています。mode = 'wb'

多くの場合、ネイティブ関数は実行可能な代替手段ですが、このネイティブ関数が適合しない多くのユースケース (https、cookie、フォームなど) があり、これが RCurl が存在する理由です。

curlパケットのgetBinaryURLを使用して、Webからラスターデータ（png、tiff、...）を受信し、データをディスクに保存します。このラスターデータは、後で空間分析に使用されます。現在、ラスター（およびrgdal）パケットを使用して、ラスターデータをロードし、ラスターオブジェクトを作成しています。

それは機能しますが、生データの保存と読み込みの部分はあまり良くありません。だから私が好きなのは、「raw」（map_png）オブジェクトを「RasterLayer」（map）オブジェクトに直接渡すことです。このような：

これをアーカイブする方法を知っている人はいますか？

-

pngをデコードしたり、packet pngを使用してデコードしたりできることは知っていますが、さまざまな入力形式があるため、これは望ましい方法ではありません。より具体的には、でフェッチした後にすでに利用可能なバイナリオブジェクトを直接操作する時間ゲインの例を示します。getBinaryURL()