3

The Pirate Bay、Kickass.to などに似た bittorrent トラッカー/ウェブサイトを作成しています。インデックスとトレント ページの両方でトレント統計 (シーダー、ダウンロード) を取得する必要があります。例：

http://kat.cr/ubuntu-15-04-vivid-vervet-desktop-amd64-iso-final-t10550003.html
シーダー: 3442 リーチャー: 148

トレントがトラッカーを使用している場合、両方のページのデータをすばやく簡単に取得できます。ただし、トレントが別のトラッカーを使用している場合は、そのトラッカーから統計を取得する必要があります (リクエストを作成する) 必要がありますが、通常、トレントごとに数秒かかります。明らかに、ユーザーを待たせることはできません。リストを見るのに長い。

バックグラウンドで実行されている最新の 90 の torrent をスクレイピングするスクリプトを作成しましたが、十分ではないようです。ウェブサイトは成長し、トレントの総数はおそらく 5000 を超えるでしょう。バックグラウンドでそれほど多くのトレントをスクレイピングしてもうまくいかないと思います。

これどうやってするの？

4

2 に答える 2

3

オープントラッカーが使用されていたときは、http通常、トラッカーの「スクレイプ」規約に従って完全なスクレイプを行うことができました。
現在、トラッカーがUDP代わりに使用する場合、完全なスクレイプを行うことはできなくなりました。

別の方法として、一部のオープン トラッカーは Web サイトで完全なスクレイピングを公開しています。

他のトラッカーは、要求に応じてそのようなファイルへのアクセスを許可する場合と許可しない場合があります。

于 2015-07-05T13:04:58.397 に答える