1


指定された Web サイトの Web ページのリストを単純に解析し、JSoup を使用してコンテンツを抽出するアプリケーションをコーディングしました。
問題は、私の IP では、リストから (同じドメインで) 1 日に最大 3 つの特定のページをリクエストできることです。これらの 3 つのページの後、私が試みるすべてのリクエストは、次に戻るように求めるページにリダイレクトされます。さらに 3 件のリクエストをお待ちしております。
私がやろうとしているのは、アプリケーションが 3 つのリクエストごとに IP を変更できるようにすることです。

私はすでに SilverTunnel と JTor をテストしました (3 回のリクエストごとにリクエストの新しい ID IP を取得できるようにします) が、これらのライブラリは文書化されておらず、N サイクルごとに ID を変更する方法の例がほとんどありません)

アプリケーションで IP を変更したり、マスクしたり、ISP に特定の IPV6 を使用して別の新しい IPV6 で変更をリリースしたりする方法を誰かが知っているかどうかを尋ねています。

誰かがその問題の解決策を知っているか、同様のことをテストしましたか?

皆さんありがとう。

4

1 に答える 1

0

この使用例の最善の解決策は、Web サイトに自分の行動に対する許可を求めることです。その後、彼らはあなたをホワイトリストに登録するか、さらに良いことに、HTML よりもはるかに効率的な方法で興味深いデータを取得できる内部 API を紹介します。

[編集]これに対する (法的) 技術的解決策について聞いたことがありません。犯罪者は、何千ものハッキングされたコンピューターを備えた巨大なボットネットをこのような目的で使用しますが、それには近づかないことを強くお勧めします.

また、1 日に 3 回しかダウンロードできないページにもまだ出会っていません。この厳しい制限は、人々が自分のデータに夢中になっていることを示しています。彼らの防御を回避しようとすると、問題が発生する可能性があります (あなたの側からはどんなに愚かに見えても)。彼らとあなたが米国にいる場合は、CFAA違反で訴えられる準備をしてください。これは、より少ない理由で以前に発生しました。

次に、いくつかの技術的な詳細を説明します。インターネットへの接続方法については言及していません。DHCP 経由で IP を受け取る場合は、ISP に別のアドレスを提供するよう依頼する必要があります。これは彼らの手動プロセスになるため、彼らの側にほとんど熱意がないことを確認する準備をしてください.

オニオンルーティングは毎回異なる出口ノードでリクエストを発行する必要があるため、Torは良いソリューションのように思えます。ただし、(比較的) 少数の出口ノードしかないため、比較的短時間で各ノードを 3 回試行する可能性があります (他の人が同じサービスに接続している場合、これはさらに悪化します)。

[EDIT2]考えられる解決策の 1 つは、ISP になり、公式に IP アドレス ブロックを購入することです (通常の ISP と同様に)。

IPv6 ブロックはそれほど高価ではありませんが、サービスが IPv4 でのみ機能する場合、どこにも到達しないことに注意してください! その場合、ユーザーとサービスの間に IPv6 から IPv4 へのブリッジが存在し、ユーザーが常に同じアドレスを使用していると見なされます。

現時点で IPv4 アドレスを購入しようとするのはおそらく絶望的です (多額の費用を支払う気があるのであれば、ブロックを取得できるかもしれません)。

于 2013-10-03T10:06:52.417 に答える