特定のドメインの基本的な CNAME 情報を収集するプログラムを作成しています。
私は現在、質問しているものとして Google の DNS サーバーを使用していますが、数百万回の DNS ルックアップを送信すると、ブロックされるのではないかと心配しています (心配しないでください。決して DDOS などではありません。その地域で）。
私は2つのことを疑問に思っています。
1. dnspython パッケージを使用して、プロキシ サーバー経由でリクエストを送信できますか? このようにして、複数のプロキシを介してリクエストを分散できます。
2. 類似のリファレンスが見つかりませんでしたが、あまりにも多くの DNS ルックアップでブロックされる可能性はありますか?
ありがとう、
メニー
Google が特定の IP アドレスからのその数のリクエストをブロックした場合、そのような数のリクエストを送信することは、Google の使用ポリシーに違反していると想定する必要があります (間違いなく「不当な使用」の形式です)。したがって、プロキシの背後にソース IP を隠すことは、ほとんど倫理的ではありません。
次の方法で、より倫理的なアプローチを採用できます。
多数のパブリック DNS サーバー (「パブリック DNS サーバー」を検索すると、プロバイダーが 8 つまたは 9 つあり、プロバイダーごとに少なくとも 2 つのサーバーがあります) にリクエストを分散し、サーバーあたりのリクエスト数を減らします。
さまざまなプロバイダーの DNS サーバーに対するクエリの影響を制限するために、妥当な期間にわたって要求を分散させます。または、単純にクエリ レートを合理的な値に制限します。
リクエストが多数の異なるドメインをカバーする場合は、独自の再帰的解決を実行して、リクエストの大部分が公開再帰サーバーではなく、権限のあるサーバーを対象とするようにします。この方法では、パブリック サーバーに対してドメインの権限のあるサーバーを解決しますが (つまり、NS クエリ)、権限のあるサーバー自体に対して CNAME クエリを解決するため、負荷がさらに分散されます。
また、DNS プロキシのようなものはありません (権限のない再帰クエリを受け入れる DNS サーバーを除く)。