私は、Google のインデックス作成にしばしば必要とされる品質を判断するための優れたオープン ソース ボットを探しています。
例えば
- 重複したタイトルを見つける
- 無効なリンク (jspider はこれを行いますが、もっと多くのリンクがこれを行うと思います)
- まったく同じページですが、URL が異なります
- など。ここで、etc は Google の品質要件に相当します。
2 に答える
1
あなたの要件は非常に具体的であるため、あなたが望むことを正確に実行するオープンソース製品が存在する可能性はほとんどありません。
ただし、Webクローラーを構築するための多くのオープンソースフレームワークがあります。どちらを使用するかは、言語の好みによって異なります。
例えば：
- Pythonの場合は、Scrapyを試してください
- Javaの場合は、Arachnidを試してください
- Rubyの場合は、Anemoneを試してください
- Perlの場合は、WWW::Spiderを試してください
通常、これらのフレームワークは、指定したルールに基づいてサイトのページをクロールおよびスクレイピングするためのクラスを提供しますが、独自のコードをフックして必要なデータを抽出するのはユーザーの責任です。
于 2009-11-01T20:25:44.043 に答える
0
Google ウェブマスター ツールは (オンデマンド ボットではなく) ウェブベースのサービスであり、要求されたすべてのことを実行するわけではありませんが、その一部と、要求されていない多くのことを実行します。 、そして - Google からのもの - それは間違いなくあなたの奇妙な「etc、etc は Google の品質要件に等しい」と一致します。他のどこよりも優れています。
于 2009-11-01T20:58:31.730 に答える