.net（Webclient、webrequest、responseなど）を使用してWebサイトをスクリーンスクレイピングしようとしています。多くの方法を試しましたが、何も機能しないようです。
私はいつも「このコンテンツを見るためにログインしてください！」と表示されます。完全なオークション情報の代わりにサイト：http：//www.example.com/en/auctions/auto-details/107891/
post方式でログインデータを送信しています
助けてください
2 に答える
2
これは、ブラウザで表示すると、認証Cookieがsquiddlydoo.comに送信され、ログインしていること（または何でも）を認識してコンテンツを表示するためです。
webClientはこれを行っていないため、ログインしていません。
なんらかの方法でCookieをキャプチャし（これが許可されている場合は可能になります）、リクエストを行うときにヘッダーで送信する必要があります。
于 2011-02-04T12:58:13.037 に答える
0
スクレイピングには正当な理由もあります。たとえば、イントラネットでサードパーティの Web アプリを実行しています。簡単なタスク用の簡単な API を作成する必要があります。ログインが必要です。そこには怪しいものは何もありません。「スクレイピング」という用語は、2 台のコンピューター間の本当に正当な HTTP 相互作用にマイナスの影響を与えるものだと思います。ハッカーのコードだからコーディングはハッキング？私はフォーチュン 500 の大企業で働いており、古いレガシー DOS アプリからの情報にバッチ アクセスするマクロ レコーダー プログラムを実行しているのを見てきました。高速な API の作成を求められることもあれば、可能な唯一の API を作成するよう求められることもあります。
于 2011-08-10T15:27:49.583 に答える