database - Google は科学データベースなどのデータベースをどのようにクロールしますか?

Question

データベースにアクセスできますか、それとも中間に位置して結果をクロールし、他のユーザーはクエリによって生成されますか? とにかく、elsevier のような科学データベースをクロールするクローラーを作成し、情報をプルして、記事のタイトルや発行年、著者などのデータベースに保存することは可能ですか?

Answer 1

質問のタイトルには「科学データベース」と書かれており、実験的な定量データのリポジトリを示唆しています。すべての実験結果の宇宙に課すことができる構造がないため、これはかなり広い質問です。さらに、研究者は、出版前にデータへのアクセスを制限することに関心を持っています。しかし、それがあなたの興味の対象である場合は、オープン ノートブック サイエンスの Wikipedia エントリから始めることができます: http://en.wikipedia.org/wiki/Open_notebook_science。

ただし、質問の例 (「Elsevier」、「記事のタイトル」) は、科学的主題に関するジャーナル記事のリポジトリを説明しています。一般に、一部の記事のメタデータは公開されているため、（原則として）クロール可能で、抄録、キーワード、著者名などの情報が含まれます。しかし、記事の内容とその引用はペイウォールによって保護されています。(例外として、ますます重要になってきているのは、オープン アクセス ジャーナルへの傾向です。)

Nature から無作為に選択された記事の例を次に示します。