Web サイトからデータを抽出したい。たとえば、URL はhttp://www.example.com/です。そこで、この URL を入れました(ドキュメントのDMOZstart_urlsの例を参照してください)。しかし、文字列を入力してボタンをクリックすると、その文字列が追加され、このhttp://www.example.com/computer/page-のようにアクセスできるすべてのページが抽出される GUI も作成したいと思います。 1 . ループを使用してこれを行う方法を教えてください。動作するかどうかを確認するために手動でさらに URL を入力しようとしましたが、うまく応答しません。場合によっては、応答がありません。それについて何か考えはありますか？start_urlsstart_urls
質問する
335 次
2 に答える
0
ループを使用してこれをどのように行うことができますか?
友人、それはループになります。真剣に、これを行う既存のオープンソース スクリプトとアプリケーションを検討することを検討します。あなたは簡単にそれを見て、それがどのようにできるかを理解することができます. そしてもちろん、気分が良くなるものは何でも、好きなだけ作ることができます。世の中には、Web スパイダー ソリューションの例がたくさんあると確信しています。ツールセットが限られているので、何らかの bash や perl スクリプトを介して制御されるwgetを使って何かをハッキングしようとするかもしれませんが、それは私であり、多くの人にとって必ずしも好ましいことではありません。
「タスク」自体については、本当に自分でコーディングしたい場合は、サブタスクに分割することを検討してください。2 つのアプリケーションがこのタスクを実行しているのを見る人もいます。たとえば、1 つのアプリケーションにリンクを保存し、もう 1 つのアプリケーションを「フェッチャー」であるスパイダーにすることができます。
そして、「ループ」の観点から考えないようにしてください。プロジェクトのこの段階ではまだループはありません。
Linux を使用している場合、または Windows 用の Cygwin / GnuTools がインストールされている場合は、wget がこれを行うようにスクリプト化されているのではないかと強く疑っています。テキスト リンクのリストを調べて、css、画像、さらには js を取得します。
もちろん、これらすべてがコマンド ラインから正常に機能するようになったら、フロント エンドからフレンドリーな方法でこれにアクセスする必要があるかもしれません。ここでも、使用する言語/テクノロジー スタックに応じて、さまざまなオプションがあります。それは私が立ち入らない別のトピックです。
これが役に立てば幸いです、乾杯！
簡単に言うと、Sourceforge、git-hub、google などで既存のオープンソース Web スパイダリング リソースを検索できます。
于 2012-04-15T07:48:28.437 に答える