Web サイトをクロールする必要がありますが、問題は、下部にリンクされたページネーションがないことです。一番下までスクロールすると、データが追加されます。クローラーでこれを実現するにはどうすればよいでしょうか。何かアイデアはありますか？
質問する
315 次
2 に答える
1
下にスクロールしたときにデータを追加するために実行されるスクリプトを調べてみてください。どうにかして追加のデータを取得する必要があります。それが何をしているかを確認し、クローラーに同じことをさせてください。
于 2013-02-05T08:09:29.470 に答える
0
Selenium のようなロボットを使用すると、実際のナビゲーターで実際のユーザーをシミュレートできます。私が Facebook でかつて行ったことの 1 つは、C++/Qt で JavaScript インタープリターを使用し、それを介してリクエストを送信することでした。Selenium よりもはるかに高速です。
Google の処理能力はあなたよりはるかに優れていると思います。ウェブマスターは、Google が解析できるようにあらゆることを行っています。
于 2014-02-16T14:53:23.530 に答える