他のサイトに結果を要求し、これらの結果を保持して比較または表示する関数をWebサイトに実装する方法を知りたいです。たとえば、製品を提供するWebサイトに外部アプリケーション用のAPIがない場合、人間の活動なしで自動システムで検索するにはどうすればよいですか?要するに、私が実装する機能は、Web全体ではなく、一部のWebサイトでのみ制限される小さな検索モーターです。アイデアはありますか?単一の外部Webサイトと、その中のすべての検索ページが求める方法を研究する必要がありますか?
感謝をこめて。
他のサイトに結果を要求し、これらの結果を保持して比較または表示する関数をWebサイトに実装する方法を知りたいです。たとえば、製品を提供するWebサイトに外部アプリケーション用のAPIがない場合、人間の活動なしで自動システムで検索するにはどうすればよいですか?要するに、私が実装する機能は、Web全体ではなく、一部のWebサイトでのみ制限される小さな検索モーターです。アイデアはありますか?単一の外部Webサイトと、その中のすべての検索ページが求める方法を研究する必要がありますか?
感謝をこめて。
あなたが探している用語は「スクリーンスクレイピング」です。サイトにAPIがない場合、主なオプションは、ユーザーのWebブラウザーが発行するのと同じ要求をプログラムで複製し、応答で返されるHTMLから必要なものを抽出することです。クライアント側のクロスオリジンリクエストはほとんどのブラウザで制限されているため、このサーバー側で行う必要があります。
ターゲットサイトをストリームにプルして、必要な情報を解析することができます。それは醜い方法ですが、提供された情報では、他にどのようにそれを試みることができるかわかりません。