問題タブ [httr]

R を使用して、この Web ページで入手できる収入ダイナミクスのパネル調査ファイルのダウンロードを自動化しようとしています。これらのファイルのいずれかをクリックすると、ユーザーはこのログイン/認証ページに移動します。認証後、Web ブラウザで簡単にファイルをダウンロードできます。残念ながら、以下のコードは認証を維持していないようです。Login.aspx ページの Chrome を調べてみましたが (ここで説明されているように)、すべての正しい値を渡していると思われる場合でも、認証を維持しているようには見えません。それが終わったかどうかは気にしませんhttrHeadershttrRCurlまたは、R内で動作するものが欲しいので、このスクリプトのユーザーにファイルを手動または完全に別のプログラムでダウンロードさせる必要はありません。これに対する私の試みの 1 つを以下に示しますが、うまくいきません。どんな助けでも大歓迎です。ありがとう！！:D

ホストされているサイトの出席者を分析するために要約したい、不適切に構成された Web サーバーのログ ファイルに苦労しています。私にとって残念なことに、サイトのアーキテクチャは乱雑であるため、ホストされているオブジェクト (html ページ、jpg 画像、pdf ドキュメントなど) のインデックスはありませんが、複数の URI が同じページを参照できます。例えば ​​：

• http://www.site.fr/main.asp?page=foo.htm
• http://www.site.fr/storage-tree/foo.htm
• http://www.site.fr/specific.asp?id=200
• http://www.site.fr/specific.asp?path=/storage-tree/foo.htm

など、重複する URI 間に明らかな規則性はありません。

概念的および実践的に、ページを効率的に特定するにはどうすればよいですか? 私が問題を理解しているように、アイデアは、ログの URI を http 要求から構築された一意のオブジェクト識別子にリンクするインデックスを構築することです。3 つの緩い制約があります。

• 私は統計部分に R を使用しているため、http 処理にも使用したいと考えています。
• ログは数十万の異なる URI (フォーム、検索、データベース クエリなど) で構成されているため、速度が問題になる場合があります。
• この新しい URI が以前に識別された既知のページであることを 3 日または 1 か月で確認できるようにしたい場合は、2 つの URI が同じページを参照していることを評価するために使用する機能を保存しました。それから、収納スペースが問題です。

1.1 ギガバイトのファイルをダウンロードしようとしていますがhttr、次のエラーが表示されます。

私のCドライブには400GBの空き容量があります..

RCurlパッケージでは、使用時にオプションとオプションが表示されますmaxfilesizeが、これらがスルーまたは..に渡されるかどうか/どのように渡されるか、またはこれのために切り替える必要があるかどうかがわかりません..切り替えが必要な場合でも、最大ファイルサイズを大きくするとうまくいきますか?maxfilesize.largegetCurlOptionsConstants()httrconfigset_configRCurl

ここに私のセッション情報があります..

..そして (時間がかかるため、これはお勧めしません) 私のエラーを再現したい場合は、https://usa.ipums.org/usa-action/samplesにアクセスして、新しい2011 年の 5 年間の acs 抽出を選択し、約 100 の変数を追加して、抽出の準備が整うまで待ちます。次に、最初の 3 行を編集して、以下のコードを実行します。(繰り返しますが、お勧めしません)

パッケージでこのタスクを実行することについて最初にこの質問をしましたが、 . そのため、代わりに使用するコードを書き直しました。httrhttrRCurlwritefunction

32 ビット バージョンの R を使用して私の作業を再現できるはずなので、RAM に何かを読み込むとメモリ制限に達します。ハードディスクに直接ダウンロードするソリューションが必要です。

まず、このコードが機能します。圧縮されたファイルは適切にディスクに保存されます。

RCurl動作しないコードがいくつかあります。前の質問で述べたように、これを正確に再現するには、 ipumsで抽出を作成する必要があります。

ログインしたので、上記と同じコマンドを試してください。ただしcurl、Cookie を保持するオブジェクトを使用します。

この改行--

私の以前の投稿への回答は、このCレベルの書き込み機能の回答を参照していましたが、そのcurl_writer Cプログラムを再作成する方法についてはわかりません(Windowsで?)。

..または、この質問の上部にある 5 行のコードがgetNativeSymbolInfo.. curl認証/Cookieを保存し、SSLを検証しないように指示する追加のオブジェクトを渡すと、そうでなければ機能するコードが..壊れる理由がわかりませんか?

これはこれに対するフォローアップ/更新された質問です:

「R」プログラミング言語の AWS dynamodb サポート

DynamoDB から R にテーブルを読み込む方法の例またはドキュメントを探しています。

この質問は私を正しい方向に向けました：

R + httr および EC2 API 認証の問題

（偉大な@hadley自身が答えました！）。

httr を使用してから json 応答を解析する必要がある場合は問題ありませんが、POST 要求をフォーマットする方法さえわかりません。

ありがとう！