0

プログラムで検索エンジンにアクセスするツールを作りたいです。

最近、YQL を楽しんで使っていて、HTML ページからデータを掘り出すことができるので、便利かもしれないと思いました。

しかし、Google、Bing、および Yahoo 検索で試してみましたが、すべて YQL をブロックしているようです。

YQL で動作する可能性のある、あまり知られていない Web 検索サイトがいくつかあるのではないかと思います。

または、実際には、さらに優れた API を提供する検索エンジンがまだある場合。

(実際、私は linguistics.stackexchange.com のみを検索しています。これは、Stack Exchange API が、私が見つけたテキストで検索する方法を提供していないためです。)

4

1 に答える 1

1

ほとんどの検索エンジン サイトは、スクリーン スクレーパーやその他のエージェントからのアクセスをブロックします。YQL はrobots.txtファイルを尊重するように設計されているため、このような多くのサイトでは機能しません。

代わりに、HTML スクリーン スクレイピングより一歩進んで、公開されている検索 API を使用することをお勧めします。

たとえば、YQL には、Bing 検索結果へのアクセスを提供するテーブルがあります。

select * from microsoft.bing where query="soccer" and source in ("web","image")

Yahoo! _ BOSS APIまたはBing Search APIを直接使用します。

于 2012-01-08T21:09:35.360 に答える