問題タブ [rcurl]

Web サイトで AJAX/Javascript によって制御される情報を取得するために、R スクリプトを介してブラウザー (できれば Firefox) を制御する方法を見つけようとしています。たとえば、http://www.mobile.de/home/index.htmlの「Model」フィールドの値を取得するにはどうすればよいでしょうか?

知る限り、Gabe Becker のパッケージ「RFirefox」は、R と Firefox の間のある種のリンクを提供します。しかし、Windows-Kid (信念によるものではなく、長年のネットワーク効果;-)) であるため、まだ自分で試すことができなかったので、自分が求めていることができるかどうかはわかりません.

RFirefox または R 経由で AJAX を処理した経験のある人はいますか? 宿題をしてほしくないのですが、Linux の世界に飛び込む前に、それだけの価値があるかどうかを評価したいと思います。

それにもかかわらず、コード例は大歓迎です。;-)

ダウンロード リンクから R のログ ファイルをダウンロードしたいのですが、未評価の html しか取得できません。

これは私が試したものですが、成功しませんでした:

opendata.socrata.com の API と連携する R パッケージを作成しています。

RCurl パッケージのビルドまで追跡した問題に遭遇しました。

Windows では、openSSL を使用した RCurl ビルドでは問題ありませんが、GnuTLS を使用する Linux では機能しません。

curlVersion()$ssl_version を使用してビルドを確認できます。

関数は次のとおりです。

次のコマンドを使用して関数を実行します。

この以前の投稿を見ましたが、コードを機能させるために答えを適応させることができませんでした。

bruins という用語でフィルタリングしようとしていますが、Windows マシンでの認証のために cacert.pem を参照する必要があります。最後に、各応答を解析する関数 (my.function) を作成し、これも含める必要があります。

私は R 内に完全にとどまりたいと思っていますが、残念ながら Windows を使用する必要があります。

簡単に言えば、応答がフィルタリングされるように、必要な検索用語をどのように含めることができますか?

前もって感謝します。

パッケージ RCurl を使用して、さまざまな URL のコンテンツをダウンロードする必要があります (認証などを使用)。ダウンロード速度を最適化するために、各ページの最初の 20 行だけが必要で、コンテンツ全体のサイズが非常に大きくなる可能性があるため、ダウンロードされた応答の出力行/文字を制限したいと考えています。

readLines を使用すると、これをすばやく行うことができます。

ただし、RCurl を使用し、最大文字パラメーターを指定すると、期待した結果が得られません。

RCurl のFAQ ページによると、カスタマイズされたコールバック関数でうまくいくはずですが、その方法は正確にはわかりません。

次のjsonを変換して、値をデータフレームに入れたいと思います。ほとんど機能しますが、as.data.frame（）はすべてを1行にまとめます。

それが一列にある代わりに。2列に並べて欲しいです。

これを機能させるためにas.data.tableで指定できるものはありますか？

編集：

上記はそれをデータフレームに強制することができましたが、タイムスタンプ列には2つの要素があります。この次の部分には、ここに独自の質問があります

POSIX形式を変換しようとすると、

しかし、それは時間データを失います。

htmlParse をヘブライ語でうまく動作させたいと思っていますが、フィードしたページのヘブライ語のテキストをスクランブルし続けます。

例えば：

これらのどれもそれを修正していないようです：

これは私のロケールです:

助言がありますか？

ゴール

R を使用して、Web ブラウザーに表示される Google 検索 Web ページの HTML をダウンロードしたいと考えています。

問題

Web ブラウザーからまったく同じ URL を使用して、R で Google 検索 Web ページ HTML をダウンロードすると、R でダウンロードした HTML が Web ブラウザー HTML と異なることに気付きました。たとえば、高度な Google 検索 URL では、日付パラメーターが無視されますHTML は R によって読み取られますが、Web ブラウザーでは保持されます。

例

Web ブラウザで「West End Theatre」を Google 検索し、2012 年 1 月 1 日から 1 月 31 日までの日付範囲を指定します。次に、生成された URL をコピーして R に貼り付けます。

上記の自己完結型のコードを実行すると、開く最初の Web ページは (日付パラメーターが強制された状態で) 必要なものであることがわかりますが、2 番目と 3 番目の Web ページ (R を介してダウンロードされたもの) は日付パラメーターが無視されます。

質問

2 番目または 3 番目の Web ページではなく、最初に開く Web ページの HTML をダウンロードするにはどうすればよいですか?

システムインフォメーション

私はtwitteRパッケージ（および必要なすべてのパッケージ）を使用しています。これらはすべて、「LynasMalaysia」のTwitter感情分析を行うための最新バージョンです。

ソースコードは以下の通りです。

RCurlが原因でエラーが発生しました。warnings（）を使用すると、次のようになります。

このエラーを解決する方法は？

ありがとう。

RCurl を使用して単純な Cookie を送信する必要があります。Cookieは「AcceptDisclaimer = yes」です。これを試しました：

cookies.txt には AcceptDisclaimer=yes が含まれます

ただし、RCurl は Cookie を送信していないようです。

よろしく！