問題タブ [rcurl]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
r - RCurl で Cookie を使用するにはどうすればよいですか?
REST API を介して一部のデータにアクセスする R パッケージを作成しようとしています。ただし、API は http 認証を使用せず、Cookie に依存してセッションで資格情報を保持します。
基本的に、bash スクリプトの次の 2 行を 2 つの R 関数に置き換えたいと思います。
RCurl が curl オプションでどのように機能するかをはっきりと理解していません。現状の私のスクリプトは次のとおりです。
ファイナルgetURL()
は「ログインしていません」で失敗します。サーバーからのメッセージ、およびファイルが存在しpostForm()
ない後。cookies.txt
xml - RでスクレイプされたWebページから単一の要素を分離する方法
Rを使用してこのページをスクレイプしたいと思います:(http://www.fifa.com/worldcup/archive/germany2006/results/matches/match=97410001/report.html)など、ゴールの得点者と時間を取得します。
これまでのところ、これは私が持っているものです:
そして、pagetreeオブジェクトには、解析されたhtmlへのポインターが含まれています(私は思います)。私が欲しい部分は:
しかし、私は今、それらをどのように隔離するかについて迷っています、そして率直に言って、私からbeejeebiesxpathSApply
を混乱させます!xpathApply
<div class="cont">
それで、タグ内に含まれる要素を吸い出すコマンドを作成する方法を知っている人はいますか?
r - Rを使用してssl経由でcsvファイルを読み取る
全世界が常に SSL を使用しようと躍起になっている現在 (これは非常に理にかなった決定です)、github および関連サービスを使用して csv ファイルを保存してきた私たちの中には、少し問題を抱えている人もいます。URL から読み取る場合、read.csv() 関数は SSL をサポートしません。これを回避するために、SSL 歌舞伎ダンスと呼ばれるちょっとしたダンスをしています。RCurl でテキスト ファイルを取得し、一時ファイルに書き込み、read.csv() で読み取ります。これを行うよりスムーズな方法はありますか?より良い回避策はありますか?
SSL カブキの簡単な例を次に示します。
r - ファイアウォールRの背後にあるRCurlの問題のgetURL
私は病院のファイアウォールの背後にいてsetInternet2(T)
、ネットに適切にアクセスするために通常は for R を使用する必要があります。ただし、コードを実行すると(自宅で完全に機能します)、結果は
これを回避することはまったく可能ですか?
よろしく、
//M
dll - RCurl起動時のlibeay32.dllエラー
(Rプログラミング言語内から)RCurlを使用しようとしています。そして、次のエラーが発生します。
プロシージャのエントリポイントASN1_const_check_infinite_endがダイナミックリンクライブラリlibeay32.dllに見つかりませんでした
その前に、libeay32.dllが見つからないという警告がありました。オンラインからコピーをダウンロードして、system32ディレクトリに配置しましたが、上記のエラーが発生しました。
次に、regclean pro(リンク)を実行しましたが、それも役に立ちませんでした。
私は勝利7に取り組んでいます。これを解決する方法について何か提案はありますか?
(これがスーパーユーザーに属しているかどうかわからなかったので、両方を試しました)
r - RODBCまたはRCurlを使用してRでパスワード保護されたSharepoint 2007サイトからExcel 2007ファイルを開く方法は?
R 2.11.1
を使用してExcel 2007 ファイルを開くことに興味がありますRODBC
。Excel ファイルは、MOSS2007 Web サイトの共有ドキュメント ページにあります。現在、.xlsx
ファイルをハード ドライブにダウンロードしてからR
、次のコードを使用してインポートします。
ドキュメントの Web URL をodbcConnectExcel2007
接続に入力すると、次のようなエラー メッセージが表示されます。
その後、R コンソールに次のメッセージが表示されます。
あなたが提供できる洞察は大歓迎です。
ありがとう!
**更新* *
ダウンロードしようとしているサイトはパスワードで保護されています。パッケージのメソッド「getUrl」を使用して別の方法を試しましたRCurl
:
x = getURL("http://website.com/file.xlsx", userpwd = "uname:pw")
私が受け取るエラーは次のとおりです。
Error in curlPerform(curl = curl, .opts = opts, .encoding = .encoding) :
embedded nul in string: 'PK\003\004\024\0\006\0\b\0\0\0!\0dA»ï\001\0\0O\n\0\0\023\0Ò\001[Content_Types].xml ¢Î\001( \0\002\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\0\
これが何を意味するのかわかりません。どんな助けでも大歓迎です。ありがとう!
optimization - Rcurlを使用してページ要素のロード時間を計算していますか? (R)
R を使用して Web ページの読み込み時間をテストするというアイデアを試し始めました。そのための小さな R コードを考案しました。
そして、いくつかの方法であなたの助けを歓迎します:
- 同じことを行うことは可能ですが、ページのどの部分がどの部分をロードしたかを知ることもできますか? (Yahoo のYSlowのようなもの)
- 次のエラーが発生することがあります-
curlPerform(curl = curl, .opts = opts, .encoding = .encoding) のエラー: ピアタイミングからデータを受信するときに失敗しました: 0.03 0 43.72 で停止しました
これを引き起こしている原因と、そのようなエラーをキャッチして破棄する方法についての提案はありますか?
上記の機能を改善する方法を考えられますか?
更新:機能をやり直しました。今は痛いほど遅いです...
r - RCurlを使用したPOSTリクエスト
デンバーRUG用にRでパッケージを作成する方法を探る方法として、datasciencetoolkitAPIの周りにRラッパーを作成するのは楽しい小さなプロジェクトになると思いました。ご想像のとおり、基本的なRツールはRCurlパッケージに含まれています。私は一見単純な問題に悩まされており、このフォーラムの誰かが私を正しい方向に向けることができるかもしれないことを望んでいます。基本的な問題は、postForm()を使用して、キーなしの文字列をcurlのデータオプションの一部として渡すことができないように見えることです。つまり、curl -d"string""address_to_api"です。
たとえば、コマンドラインから
成功しました。ただし、POSTリクエストに追加の引数を渡す場合、postForm()には明示的なキーが必要なようです。可能なキーについてdatasciencetoolkitコードと開発者ドキュメントを調べましたが、何も見つからないようです。
余談ですが、GETリクエストを介して入力をDSTKAPIの他の部分に渡すのは非常に簡単です。例えば、
望ましい結果が得られます。
明確にするために、私はDTLのオメガハットサイトのRCurlドキュメント、パッケージを含むRCurlドキュメント、およびcurlのマニュアルページを読みました。ただし、curl(またはpostForm()関数の.opts())に関して基本的なものが欠けているため、取得できないようです。
Pythonでは、基本的にhttplib.HTTPConnectionを使用して「生の」POSTリクエストを作成できます-Rで利用できるようなものですか?httpRequestパッケージのsimplePostToHost関数も調べましたが、Rセッションがロックされているように見えました(キーも必要なようです)。
FWIW、Mac10.6.7でR2.13.0を使用しています。
どんな助けでも大歓迎です。データサイエンスツールキットを試してみたい場合は、すぐにすべてのコードがgithubで利用できるようになります。
乾杯。
r - ウェブサイトからhtmlテーブルを抽出する
XML、RCurlパッケージを使用して、次のURLのいくつかのhtmlテーブルを読み取ろうとしています http://www.nse-india.com/marketinfo/equities/cmquote.jsp?key=SBINEQN&symbol=SBIN&flag=0&series=EQ#
これが私が使っているコードです
テーブルを見ると、Webページの値を解析できていません。これは、javasciptの評価がその場で行われているためだと思います。今、グーグルクロームで「名前を付けてページを保存」オプションを使用し(mozillaでは機能しません)、ページを保存してから上記のコードを使用すると、値を読み取ることができます。
しかし、ハエの表を読むことができるようにするための回避策はありますか?あなたが助けることができればそれは素晴らしいでしょう。
よろしく、
xml - 不動産広告に対するRによるWebスクレイピング
経済研究チームのインターンとして、Rを使って不動産広告のウェブサイトで特定のデータを自動的に収集する方法を見つけるという任務を与えられました。
関係するパッケージはとだと思いますがXML
、RCurl
それらの作業についての私の理解は非常に限られています。
Webサイトのメインページは次のとおりです。http://www.leboncoin.fr/ventes_immobilieres/offres/nord_pas_de_calais/? f = a&th = 1&zz = 59000理想的には、各行が広告。
広告の詳細は次のとおりです。http://www.leboncoin.fr/ventes_immobilieres/197284216.htm?ca = 17_s 私の変数は、価格( "Prix")、都市( "Ville")、表面( "Ville")です。 「表面」)、「GES」、「Classeénergie」、部屋の数(「Pièces」)、および広告に表示される写真の数。また、文字ベクトルでテキストをエクスポートしたいと思います。後でテキストマイニング分析を実行します。
ヘルプ、チュートリアルまたはハウツーへのリンクを探しています。これにより、進むべき道を案内することができます。