-1

クローラーについていくつか質問があります。

  1. 純粋に Web 上で動作するクローラーを作成できますか? つまり、Web プロジェクトの管理ページから起動または停止できるクローラーです。

  2. クローラーを作成するのに最も便利な言語は何ですか? c#で書く予定でした。

  3. 最も重要なのは、クローラーがどのように機能するかです。HttpWebRequestつまり、とを使用してそれらを作成することは知っています。HttpWebResponseページにアクセスするたびに、クローラーが戻ってきて、コードが結果を評価し、クローラーを他の Web サイトに送信するためのキューを作成すると思います。基本的にこの情報が本当なら、Web プロジェクトを使用してクローラーを作成することを考えると、ページを常にアップしておく必要があり、サーバーに対するクローラーの負荷はどれくらいになりますか? サーバーの速度が低下しますか、それとも比較的小さな作業ですか?

私は知っています、ここには多くの質問があり、私は本当に答えに感謝します:)

4

1 に答える 1

1

1) 絶対に、クローラーは Web 上で完璧に機能します。クローラーは ASP.NET アプリケーションである場合もあれば、管理ページがサーバー上のタスク (Web クローラー) を開始または停止する場合もあります。

2) VB.NET または C# が動作します。どちらも、Web を操作するための広範なライブラリを備えています。

3）あなたが探しているのは再帰関数だと思います。まず、インターネット上で開始するページを選択します (多くのリンクが含まれています)。ページ内のリンクごとに、クローラーのメイン メソッドを再度実行します。これを何度も繰り返します。おそらく、クロールする「深さ」を制限したいと思うでしょう。各ページ内でも何らかの作業を行いたいと思うでしょう。

于 2011-07-25T14:12:08.367 に答える