search - ブラウザを介してGoogleのURLを取得する最も簡単な方法は？

Question

Googleで検索したときに返されるすべてのURLを取得したいと思います。スクリプトを作成してみましたが、Googleはそれが気に入らなかったため、Cookieのサポートとキャプチャを追加するのは面倒でした。Googleの検索ページを閲覧しているときに、ページ上のすべてのURLを取得して.txtファイルに入れるか、何らかの方法で保存するものを探しています。それをする何かを知っている人はいますか？おそらく、greasemonkeyスクリプトまたはfirefoxアドオンですか？よろしくお願いします。ありがとう！

Answer 1

http://irobotsoft.com/bookmark/index.htmlで IRobotSoft ブックマーク アドオンを試すことができます。

Answer 2

JSON/Atom カスタム検索 APIを参照してください。

Answer 3

Google の検索結果は非常に簡単にスクレイピングできます。これはphpでの例です。

<?
# a trivial example of how to scrape google
$html = file_get_contents("http://www.google.com/search?q=pokemon");

$dom = new DOMDocument();
@$dom->loadHTML($html);
$x = new DOMXPath($dom);
foreach($x->query("//div[@id='ires']//h3//a") as $node)
{
    echo $node->getAttribute("href")."\n";
}
?>

Answer 4

私は、利用可能な API がない Google Scholar に対して同様のことを行いました。私のアプローチは、基本的に、ページを取得し、それで何かをしてからユーザーに表示するプロキシ Web サーバー (Tomcat の Java Web アプリ) を作成することでした。これは 100% 機能するソリューションですが、かなりのコーディングが必要です。興味があれば、詳細を調べてコードをいくつか載せることができます。