多数のプロキシの有効性をテストすることになっている小さなPython3プログラムを作成しています。データを再編成して、IPをすばやく検索し、curlを介してテストし、動作するかどうかとタイムスタンプをデータベースに書き込むことができるようにします。
約50000行で、「単純な方法」は時間がかかりすぎるため、IPを検索するための巧妙な方法が必要です。
私はSQLを初めて使用しますが、プログラミング言語でそれを行うとしたら、次のようになります。
| IP_BYTE1 | IP_BYTE2 | IP_BYTE3 | IP_BYTE4 | TIMESTAMP | WORKS |
次に、「左から右」を検索します。
誰かがそのようなテーブルと高速ルックアップ/挿入のためのアルゴリズムの作成を手伝ってくれますか?