問題タブ [rcurl]

いくつかの PDF ドキュメントをテキストマイニングして抽出した URL がたくさんあります。次に、URL の有効性をテストします。一部の URL にジャンク文字が含まれているか追加されているか、URL が切り捨てられています。1 つの方法は、それぞれを呼び出してフィルタリングすることです。

url.exists() そのために、RCurl パッケージの関数を使用し ます。この関数は、curl を使用して URL への HTTP HEAD リクエストを作成し、ステータス コードをチェックします。

のドキュメントから?url.exists

リダイレクトを発行する URL に対して TRUE を返すようにするにはどうすればよいですか? リダイレクト ステータス コードは 300 の範囲です。それらは実際にはエラーではありません。

それとももっと良い方法がありますか？実際のステータスコードを取得して手動で処理しますか? ここでシステムコマンドを使用する必要がありますか?

RCurl では、CFILEC レベルのファイル ハンドルを操作する関数とクラスが定義されています。マニュアルから：

その目的は、これらを libcurl にオプションとして渡して、ファイルから読み書きできるようにすることです。これは R 接続でも実行でき、これらの接続を操作するコールバック関数を指定できます。ただし、C レベルの FILE ハンドルを使用すると、大きなファイルの場合は大幅に高速になる可能性があります。

ダウンロードに関連する例がないので、試しました：

fileオプションをに置き換えてみましたwritedata = f@ref。ファイルはダウンロードされましたが、破損しています。引数のカスタム コールバックの記述は、write非バイナリ データに対してのみ機能します。

RCurl で (メモリにロードせずに) バイナリ ファイルをディスクに直接ダウンロードする方法はありますか?

Rを介して公開投稿をストリーミングおよび保存しようとしています。すでにトークンを取得して検索を行いました。これは私がやったことです。

必須(RCurl)

必要 (rjson)

data <- getURL(" https://graph.facebook.com/search?q=multishow&type=post&access_token=my_token ")

大丈夫です。「データ」の文字が何かを見つけました。では、この「データ」文字をデータ フレームに変換するにはどうすればよいでしょうか。特定のタイムアウト中にこの検索をストリーミングすることは可能ですか?

ありがとう。

アップデート：

わかりました、Facebook からの JSON 結果を解析できるようになりましたが、data.frame として適切に変換し、ストリームして新しい投稿を取得することにまだ行き詰まっています。以下のコードに従ってください。

いずれにせよ、1 つまたは 2 つの観測値と数百の変数を含む data.frame を取得します。私が最後に行った検索では、42 個の変数を持つ最初の観測結果、13 個の変数を持つ次の観測結果を得ました。どうすればそれを処理できますか？

他の質問は既に読みましたが、R で Facebook グラフの検索結果を解析する方法はまだわかりません。私の主な目標は、データ フレームのようなものに変換して、いくつかの列を分析することです。

更新: ありがとう @ user1609452

「いいね」にネストされた「カウント」を含めたい場合はどうすればよいでしょうか。私に見せてください：

この場合、どのように match.fun 引数を設定すればよいでしょうか?

誰か助けてくれませんか？

そして、「いいね」にネストされた「カウント」を含めたい場合は？私に見せてください：

この場合、どのように match.fun 引数を設定すればよいでしょうか?

誰か助けてくれませんか？

Rで SGX Web サイトから価格を取得しようとしています。

R を使用して、この Web ページで入手できる収入ダイナミクスのパネル調査ファイルのダウンロードを自動化しようとしています。これらのファイルのいずれかをクリックすると、ユーザーはこのログイン/認証ページに移動します。認証後、Web ブラウザで簡単にファイルをダウンロードできます。残念ながら、以下のコードは認証を維持していないようです。Login.aspx ページの Chrome を調べてみましたが (ここで説明されているように)、すべての正しい値を渡していると思われる場合でも、認証を維持しているようには見えません。それが終わったかどうかは気にしませんhttrHeadershttrRCurlまたは、R内で動作するものが欲しいので、このスクリプトのユーザーにファイルを手動または完全に別のプログラムでダウンロードさせる必要はありません。これに対する私の試みの 1 つを以下に示しますが、うまくいきません。どんな助けでも大歓迎です。ありがとう！！:D

ホストされているサイトの出席者を分析するために要約したい、不適切に構成された Web サーバーのログ ファイルに苦労しています。私にとって残念なことに、サイトのアーキテクチャは乱雑であるため、ホストされているオブジェクト (html ページ、jpg 画像、pdf ドキュメントなど) のインデックスはありませんが、複数の URI が同じページを参照できます。例えば ​​：

• http://www.site.fr/main.asp?page=foo.htm
• http://www.site.fr/storage-tree/foo.htm
• http://www.site.fr/specific.asp?id=200
• http://www.site.fr/specific.asp?path=/storage-tree/foo.htm

など、重複する URI 間に明らかな規則性はありません。

概念的および実践的に、ページを効率的に特定するにはどうすればよいですか? 私が問題を理解しているように、アイデアは、ログの URI を http 要求から構築された一意のオブジェクト識別子にリンクするインデックスを構築することです。3 つの緩い制約があります。

• 私は統計部分に R を使用しているため、http 処理にも使用したいと考えています。
• ログは数十万の異なる URI (フォーム、検索、データベース クエリなど) で構成されているため、速度が問題になる場合があります。
• この新しい URI が以前に識別された既知のページであることを 3 日または 1 か月で確認できるようにしたい場合は、2 つの URI が同じページを参照していることを評価するために使用する機能を保存しました。それから、収納スペースが問題です。

経由でフォームを投稿しようとすると、この証明書検証エラーが発生しますRCurl::postForm()。

POST フォームにまだ慣れていないので、どこが間違っているのか教えてもらえますか?

エラーが発生した例

http://goo.gl/qOf5tのソース コードを調べたところ、リストされている最初のフライトの POST 形式を特定しました (2013 年 4 月 9 日現在、これは FFM - NY で 437,97 ユーロ):

そして、私はこれを発射しました：