332

Google Web Search APIは廃止され、Custom Search APIに置き換えられました(http://code.google.com/apis/websearch/を参照)。

Web全体を検索したかったのですが、新しいAPIではカスタムサイトしか検索できないようです。

プログラムでWeb全体を検索する方法はありますか?JavaプログラムからJSONを使用して古いAPIをクエリすることができました。

4

10 に答える 10

491

はい、Googleカスタム検索は古い検索APIに取って代わりましたが、カスタム検索の設定から手順が明らかではない場合でも、Googleカスタム検索を使用してWeb全体を検索できます。

ウェブ全体を検索するGoogleカスタム検索エンジンを作成するには:

  1. Googleカスタム検索ホームページ(http://www.google.com/cse/)で、[カスタム検索エンジンの作成]をクリックします。
  2. 検索エンジンの名前と説明を入力します。
  3. [検索エンジンの定義]の[検索するサイト]ボックスに、少なくとも1つの有効なURLを入力します(今のところ、この画面を通過するにはwww.anyurl.comを入力してください。これについては後で詳しく説明します)。
  4. 必要なCSEエディションを選択し、利用規約に同意して、[次へ]をクリックします。必要なレイアウトオプションを選択し、[次へ]をクリックします。
  5. [次の手順]セクションの下にあるリンクのいずれかをクリックして、コントロールパネルに移動します。
  6. 左側のメニューの[コントロールパネル]で、[基本]をクリックします。
  7. [検索設定]セクションで、[Web全体を検索するが、含まれるサイトを強調する]を選択します。
  8. [変更を保存]をクリックします。
  9. 左側のメニューの[コントロールパネル]で、[サイト]をクリックします。
  10. 初期設定時に入力したサイトを削除してください。

これで、カスタム検索エンジンがWeb全体を検索します。

価格設定

  • Googleカスタム検索では、1日あたり100件のクエリを無料で提供しています。
  • その後、1000クエリごとに5ドルを支払います。
  • 1日あたり最大10,000のクエリがあります。

ソース:https ://developers.google.com/custom-search/json-api/v1/overview#Pricing


  • 検索品質は通常のGoogle検索よりもはるかに低いです(同義語、「インテリジェンス」などはありません)
  • グーグルはこのサービスを完全にシャットダウンすることさえ計画しているようです。
于 2012-06-26T11:23:09.393 に答える
56

Googleカスタム検索(最高評価の回答で提唱されている)はうまく機能しますが、競合他社(下記)や他のGoogle APIと比較すると、非常に高価です。小さな無料枠(100クエリ/日)と1000クエリあたり5ドルという非常に高い価格があります。

彼らは少し良い価格のサイト検索にアップグレードするオプションを提供しますが、それは1つのサイト(あなた自身の)を検索するためのものなので、それは実際にはまったく異なるものであり、アップグレードではありません。

主な選択肢は次のようです。

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
これは5000q/月の無料利用枠があり、価格は1ペニーあたり5クエリから始まり、ハード制限はありません。

更新:2016年の終わりに、このAPIは、Azureの対応する「CognitiveServices Bing Search API」を優先してシャットダウンされました:
https ://azure.microsoft.com/en-us/services/cognitive-services/search/

1,000回の取引でUS$3 / mから始まる価格表については、こちらをご覧ください。私が何かを逃していない限り、それはかなり高価です。

Yahoo BOSS Search API
の更新:2016年3月31日に廃止されました 。http://developer.yahoo.com/boss/search/Web
検索全体で約12クエリ/ペニーからの価格。

そして、私が前に聞いたことがないいくつか:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[廃止-以下で指摘]

このSOの投稿には、これらのいくつかについて少し議論があります。
[トピックから外れたため閉鎖され、現在はなくなっています]

于 2014-03-19T01:20:34.960 に答える
41

ブラウザのようにそれらを送信してから、htmlを解析することができます。これは、Youtubeのようなものでも、私がいつも行っていることです。

于 2010-11-02T23:21:09.613 に答える
27

カスタム検索コントロールパネルの下部にあるオプションは次のとおりです。[検索するサイト]、[ Web全体を検索するが、含まれるサイトを強調する]を選択できます

カスタム検索コントロールパネル-検索するサイト

于 2013-08-04T14:13:54.527 に答える
14

Farooには無料のWeb検索APIがあります

于 2012-11-18T13:24:19.740 に答える
6

私はコモンクロールからこれに出くわしました。

http://www.commoncrawl.org/

私たち全員が探している答えかもしれません!!

于 2012-02-02T16:39:06.373 に答える
4

ドキュメントの上にメモがあります:

注:Google Web Search APIは、2010年11月1日をもって正式に廃止されました。引き続き廃止ポリシーに従って機能しますが、1日あたりのリクエスト数は制限されます。したがって、新しいカスタム検索APIに移行することをお勧めします。

推奨ポリシーでは、APIを3年間実行し続けるとされています。したがって、古いAPIを使用するアプリケーションがすでにある場合は、まだ変更を急ぐ必要はありません。新しいアプリケーションを作成する場合は、カスタム検索APIを使用してください。Pythonでこれを行う方法については、ここで私の答えを参照してください。ただし、考え方はどの言語でも同じです。

于 2011-01-02T21:21:51.047 に答える
3

すでに述べたFarooを使用するJFreeWebSearchと呼ばれる無料のJavaAPIがあります: http ://www.ke.tu-darmstadt.de/resources/jfreewebsearch

于 2013-01-25T08:29:43.380 に答える
1

「どこでも」カスタム検索エンジンは、Googleカスタム検索ホームページ(http://www.google.com/cse/)から直接作成できます。新しいエンジンを追加するときは、「詳細」をクリックするだけです。そこで、Schema.orgサイトタイプを提供できます。「Thing」は最も一般的なタイプであり、すべてのWebをカバーします。

于 2014-08-05T08:54:10.473 に答える
0

Gigablastは安価なWeb検索APIを提供しています:http ://www.gigablast.com/searchfeed.html

于 2013-06-07T03:10:48.123 に答える