問題タブ [google-trends]

Googleトレンドからpytrendsデータを自動的にダウンロードするために使用します。csv私が使用したコードは以下のとおりです。この場合、2008 年から現在までの毎月の Google トレンド データをダウンロードしています。

pytrends の結果と比較した最初の 5 か月間の Google Web サイトの結果:

理由を知っている人はいますか？ありがとうございました。

私は R プログラミングと Google トレンドに慣れていないので、この基本的な質問をお許しください。次のようなチュートリアルから、いくつかの Google トレンド データを正常に取得しました。

4つの項すべてについて素晴らしいプロットが得られます。 たとえば、nbaだけのデータをプロットする方法を知りたい

前もって感謝します！

Google トレンド データをダウンロードし、PhantomJS を使用してページを読み込み、必要なデータを抽出しようとしています。URL に 1 つのキーワードのみを使用してコードを実行すると (URL の例: https://www.google.com/trends/explore?date=today%203-m&geo=US&q=Blue )、正常に動作します。2 番目のキーワードを追加するとすぐに (URL の例: https://www.google.com/trends/explore?date=today%203-m&geo=US&q=Blue,Red) PhantomJS がページを正しくロードしなくなり、必要なデータを見つけることができません。ブラウザの待機時間を増やしてみたり、さまざまなキーワードを試してみましたが、成功しませんでした。私はアイデアがなく、URLをわずかに変更した後にプログラムが機能しなくなった理由を単純に理解していません（タグとページ構造は両方のURLでほぼ同じであるため、問題はタグが同じ名前を持たなくなったことではありません前）問題のコードは次のとおりです。

Google トレンドから Google チャートにデータを渡そうとしていますが、Incompatible data table: Error: Table contains more columns than expected (Expecting 2 columns)エラーが発生します

エラーが発生するのではなく、グラフにクエリを実行してから自動的に機能すると想定しました。エラーが発生するコードは次のとおりです。

なぜこのエラーが発生するのか、解決策を教えていただければ幸いです:)

非公式の Google トレンド API ( https://github.com/GeneralMills/pytrends#trend )を使用してコードを書いていますが、ほとんど 10 回のリクエストを行った後、次のエラーが発生しました。Exceeded Google's Rate Limit. Please use time.sleep() to space requests.

以下のコマンドでは、Google サービスに正しく接続されていないようです。

したがって、ここで説明されているように、Tor Browser とともに IP アドレスを変更しようとしました: https://stackoverflow.com/a/34516846/7110706

主な問題は次のコードにあります。

時間の経過とともに IP アドレスが変更されると、コードは機能するように見えますが、Google リクエストのクォータ制限エラーが引き続き発生します。

Google のレート制限を超えました。time.sleep() を使用してリクエストをスペースしてください。

新しい IP アドレス: 178.217.187.39

Google のレート制限を超えました。time.sleep() を使用してリクエストをスペースしてください。

新しい IP アドレス: 95.128.43.164

制限を回避する方法があるかどうか知っていますか? トールによってリクエストが正しくルーティングされないため、Google トレンドが新しい IP アドレスを取得できない可能性があります。

前もって感謝します。

Twitter API を使用して現在のトレンドを取得しようとすると、「401 Unauthorized」エラーが発生しますが、user_timeline,available,tweets などの他の応答を取得しようとすると、以下のコードは正常に機能します。以下は私のコードです。どこが間違っているか教えてください。

コードで作成した URL から Google トレンド データをダウンロードしようとしています。これらの URL をブラウザー (私は Firefox を使用) に入力すると、保存プロンプトが表示され、ブラウザーでファイルを開くか保存するかを選択できます。ただし、Google トレンドのデータを含む同じ .csv ファイルをコードで取得したいと考えていますが、行き詰っています。

私のコードが作成するリンクの 1 つを次に示します。[ダウンロードを促しますが、これは Google です]

https://www.google.com/trends/trendsReport?hl=en-US&q=debt&geo=US&date=now%207-d&cmpt=q&content=1&export=1

このリンクには 2 つの問題があります。中国語の文字を含む .csv ファイルをダウンロードするか (壊れていると思いますか?)、HTML をダウンロードします (以下を参照)。HTML を HTML ファイルとして保存して実行すると、Google トレンドのホームページに移動し、一見役に立たない URL が表示されます。

https://www.google.com/trends/#geo=US&date=now+7-d&cmpt=q&q=debt&hl=en-US&content=1

また、.csv ファイルをダウンロードするために使用するコードは、基本的なWebClientダウンロード方法です。文字列urlは上記の URL に置き換えることができます。

注: ページから HTML をダウンロードすることは知ってWebClientいますが、URL を操作して HTML のデータを取得する方法があれば、それはもちろんはるかに簡単です。ただし、私が知る限り、何らかの方法で CSV を取得する方がはるかに優れています。