問題タブ [httr]

免責事項: httr の POST 関数を使用して別のソースからデータを取得することはできましたが、httr および HTML フォーム全般に関して、私はまったく無知であることを知っておいてください。

httr を使用して Web サイトから R にデータを直接取り込みたいと考えています。私の最初の試みは、名前付きリストを body 引数に渡すことでした (このビネットに示されているように)。ただし、フォームの入力名に角かっこがあることに気付きました (少なくともフォームの入力引数だと思います)。代わりに、リクエスト本文に表示されるはずだと思うので、本文を文字列として渡してみました。

いずれにせよ、上記のコードは Web ページのソース コードを返すだけで、フォームの [データのダウンロード] ボタンを手動でクリックした場合と同じデータを返すようにフォームを適切に送信する方法がわかりません。

Chrome の開発者ツール/ネットワークでは、フォームの [データのダウンロード] ボタンを手動でクリックすると、データを含むテキスト ファイルが添付されていることが Content-Disposition の下の応答ヘッダーに記載されています。上記のコードの応答オブジェクトに関連付けられているヘッダーのいずれにも含まれていないようです。このファイルが POST 要求で返されないのはなぜですか? データを含むファイルはどこにあるのでしょうか?

明らかな何かが欠けているように感じます。点をつなぐのを手伝ってくれる人はいますか？

RCurl パッケージを使用して、大気汚染のバックグラウンド データを data.frame として R に直接ロードしようとしています。

問題の Web サイトには、次の図に示すように、.csv ファイルをダウンロードする前にオプションを選択するための 3 つのドロップダウン ボックスがあります。

ドロップダウン ボックスから 3 つの値を選択し、[CSV をダウンロード] ボタンを使用してデータを直接 R に data.frame としてダウンロードしようとしています。

特定のサイトの複数の年と複数の汚染物質のさまざまな組み合わせをダウンロードしたいと考えています。

StackOverflow の他の投稿でgetForm、RCurl パッケージの関数に出くわしましたが、この関数で 3 つのドロップダウン ボックスを制御する方法がわかりません。

データ ソースの URL は次のとおりです: http://uk-air.defra.gov.uk/data/laqm-background-maps?year=2011

私は Web スクレイピングに慣れていませんが、いくつかのコンテンツを取得することができました。しかし、今回の問題は単純に見えますが、Web ページでシンボル、名前、市場を含む文字列を取得できません。つまり、URL に「Merck KGaA (MRK.DE) -XETRA」という文字列を取得したいと考えています。いくつかのテーブルを返す次のコードを試しましたが、探している部分を取得できません:

私は最近、同様の質問をしました: Web サイトに式を送信して動的な結果 (画像)を返すと、Web ページのフィールドに式を送信する必要がなく、URL を利用して仕事を完了させる素晴らしい応答が得られました。

Pythonベースに設定できるため、より優れた正規表現ビジュアライザーを発見しました（G. Grothendieckによって指摘されました）（Rに近い;たとえば、http://www.regexper.com/がエラーをスローするような後読みが(?<=foo)可能です） .

この正規表現の使用: "(?<=foo)\\s*foo[A-Z]\\d{2,3}"R を使用して send を送信し(?<=foo)\s*foo[A-Z]\d{2,3}、ドロップダウン メニューを に設定して、Python次のように視覚的な結果を開くか返します。

式が入力されても URL は変わらず、埋め込まれた JavaScript が結果を返すため、同じ URL トリックはここでは機能しません。

MWE

Twitter から投稿を取得する R スクリプトに取り組んでいます。以下のステートメントを実行するたびに気づきました：

以下の警告メッセージが表示されます。

これを解決するための適切な情報がウェブ上で見つかりませんでしたか? set_config ステートメントで httpheader を一度だけ変更する必要がありますか? 以下の私のスクリプトを見つけてください：

コード：

セッション情報:

現在、httr パッケージを介して Twitter のストリーミング API とやり取りしようとしています。

これにより、次の質問とエラーが発生します。

どうすれば問題を解決できますか?

主に私自身の理解のために、RCurlまたはhttrを使用して、次のおもちゃのCURLの例をRにどのように変換しますか:

どちらのパッケージも、単純な GET リクエストを超えるものには少し扱いに​​くいと思います。

私はもう試した：

400 ステータスを取得します。私の Curl バージョンは完璧に動作します。

また試しました：

また、400ステータスを取得します。

問題はヘッダーの設定にあると確信しています。