0

Dealsgoround.comとcitypockets.comは、 livingsocial.comやその他の日次取引Webサイトからユーザーアカウントとその日次取引にアクセスします。これらのWebサイトは、ユーザーに、それぞれのWebサイトにサインインしてから、アカウントの詳細をインポートするための資格情報を提供するように求めます。LivingSocialおよびその他の取引Webサイトは、ユーザーアカウントへのAPIアクセスを提供していません。

また、他のWebサイトにアクセスして、そこからデータをインポートしたいと思います。しかし、 dealsgoround.comとcitypockets.comがGrouponやLivingSocialなどからデータをインポートするバックエンドプロセスを見つけることができません。

これで、Webクローラー/スパイダーを使用してWebページからデータをスクラップできることがわかりました。ただし、ユーザーのサインインが必要で、ページのURLが暗号化されているか、少なくとも動的に生成されたURLであるシナリオで、Webクローラーが役立つかどうかはわかりません。

私を助けて、これを行う方法を提案してください。クローラーがこれに対する解決策である場合は、.netアプリケーションで使用できるいくつかのWebクローラーAPIへのリンクを提供してください。

ありがとう

Atif

4

2 に答える 2

0

I was able to find the answer... Yes web crawler is the solution in this scenario.

We can use PHP, ASP.net or any other server side scripting language to send an httppostrequest with post parameters (user_name/password). This will authenticate (sign in) the user. After sign-in we can read the contents of any url with user information who has been signed-in.

Note: In my case this isn't unauthorized access to user accounts as users provide their credentials themselves to import their data from deal websites as in dealsgoround.com and citypocket.com

于 2011-09-19T13:04:00.970 に答える
0

FacebookやGoogleIDなどの代替クレデンシャルを使用してサインインする機能は、Open AuthまたはOAuth（Oathと発音）と呼ばれます。

ちなみに、ユーザーの明示的な許可なしにデータをインポートしたり、セキュリティの問題に注意したりしないでください。

利用可能なドキュメントはたくさんあり、その多くはかなり重いものです。開始するのに最適な場所は、仕様RFC5849を読むことです。

OAuthWebサイトも便利ですhttp://oauth.net

于 2011-09-13T14:37:40.110 に答える