問題タブ [google-scholar]

https://scholar.google.com/citations?user=N7m4vIQAAAAJ&hl=enSafari と Google Chrome のプライベート ウィンドウでURL を実行すると、Google でエラーが発生します。

プライベート ブラウジング モードでの最初のリクエストでのみ発生します。

これが特定の環境でのみ発生する理由を知っている人はいますか? これは 3 日前から発生しています。

-- エラー メッセージとキャプチャ

Server Error We're sorry but it appears that there has been an internal server error while processing your request. Our engineers have been notified and are working to resolve the issue. Please try again later.

- - 追加した

ヘッダーファイルには次のものが含まれます

http header response Cache-Control: no-cache, must-revalidate Content-Encoding: gzip Content-Type: text/html; charset=UTF-8 Date: Mon, 16 Nov 2015 19:35:39 GMT Expires: Fri, 01 Jan 1990 00:00:00 GMT Pragma: no-cache Server: citations Set-Cookie: NID=73=eF98qod1NpYg7nb03RUToiSiacFgqNoZxQ4CuzqwGlQn53SoR7rHlzO0OExsmYkpRazROCQ3WqKoCsWKFPxp8dZr5pBra6nD1HPcxWUILl9gVAf5Q7GSQc3B0O3TP4gu; expires=Tue, 17-May-2016 19:35:39 GMT; path=/; domain=.google.com; HttpOnly X-Firefox-Spdy: h2 X-Frame-Options: SAMEORIGIN X-XSS-Protection: 1; mode=block p3p: CP="This is not a P3P policy! See http://www.google.com/support/accounts/bin/answer.py?hl=en&answer=151657 for more info." x-content-type-options: no sniff

Google Scholar プロファイル ページからスクレイピングしようとしています。アイデアは、XPath を使用して出版物のリストを取得したいということですが、ページをダウンロードしません。コードは次のとおりです。curl で試しました

そしてカールなし：

カールなしで取得するには

curlで取得するには

その後

しかし、 $autori は空のままです。

Python requestsモジュールを使用して URL からテキストを取得しようとしたときに問題が発生しました。

学術論文の bibtex の URL をなんとか見つけた後、bibtex を含むテキストを取得するのに問題があります。

例として、いくつかの Python コード行を使用して、次の bibtex を含むこのリンクを取得します。

@article{milgrom1994monotone, title={Monotone comparison statics}, author={ミルグロム, ポールとシャノン, クリス}, journal={Econometrica: 計量経済学会誌}, pages={157--180}, year={1994 }、パブリッシャー={JSTOR}}

以下のコードを使用してテキストを抽出することはできません。

ここで、Google Scholar は「 https://scholar.google.com.br 」を含む文字列であり、URL は「/scholar.bib?q=info:46dohauatq8J:scholar.google.com/&output=citation&hl=en&ct=citation&cd=0」です。 "。

Google Chrome に完全な URL をコピーして貼り付けると正常に動作するため、何かが足りないように感じます。つまり、エラー メッセージを発行する代わりにページを開きます。

Python2.7 の学術モジュールを使用して、Google Scholar から特定の論文の詳細を取得しようとしています。1000件の論文の詳細を収集したいと思い、以下のコードを書きました。

10〜12回の反復後にエラーが発生します

Stackoverflow で利用可能ないくつかの回答を調べましたが、修正できませんでした。

StopIteration エラーの修正を手伝ってください

次のような文字列があります。

私はこれに変換したい：

私はこれを試しました：

ただし、次のエラーがスローされます。

Google Scholar セキュリティ ページからデータをスクレイピングするために、次のコードを作成しました。. ただし、実行するたびに次のエラーが表示されます。

これは、GS が私のリクエストをブロックしているためだと思います。どうすればこれを防ぐことができますか?

コードは次のとおりです。