ドメイン名、サブドメイン、tld を分割するためにドメイン名を正規化する必要がありますか? 毎秒約 100 のドメイン/サブドメインを追加し、毎秒約 500 のドメイン/サブドメインを照会します。
tlds http://data.iana.org/TLD/tlds-alpha-by-domain.txtのテーブルを持つことができる計画があります
ドメイン名用の別のテーブルとサブドメイン用の別のテーブルを持つことができます
実際のところ、私はオンライン サイト アップタイム サービスを利用しており、1 秒あたり約 100 件をチェックし、さらに検索するために Web をクロールして、考えられるすべてのドメインのアップタイムを毎日取得したいと考えています。
従うのに最適な構造は何でしょうか。
私は完全に正確なホスト名を使用します（たとえば、www.stackoverflow.comとstackoverflow.comは異なります）。一部のサイトでは、2つの特定のホスト名が同等である場合がありますが、他のサイトでは同等ではありません。また、TLDの追跡がどのように役立つかわかりません（特に、今後のTLDの爆発後）。
ドメインごとに分類する理由はわかりますが、2つの異なるページ（http://example.com/storeとhttp://example.com/wiki）がまったく異なる設定（たとえば、異なるプログラミング言語）になる可能性があることに注意してください。およびデータベース）、一方が正常に動作しているときに一方が簡単にダウンする可能性があります。ユーザーは、URLごとにこの情報を必要とします。
完全なホスト名だけを保存すると、たとえば *.stackoverflow.com に対して効率的なクエリを実行するのが難しくなるようです。部分文字列の一致では、フィールドのインデックスを利用できません。一方、完全な文字列を格納する方が簡単で、効率の悪いクエリは非常に長い間問題にならない可能性があります。