java - Java で robots.txt ファイルにアクセスする

Question

私は Java の初心者です。単純な Web クローラーを作成したいと考えています。Java で Web サイトの robots.txt ファイルにアクセスする方法です。実際には、robots.txt についてあまり知りません。助けてください。

Answer 1

次の 2 つのタスクを解決する必要があります。

1. HTTP ライブラリを使用して HTTP 経由でファイルを取得する -- Java で HTTP リクエストを送信するには?
2. robots.txt ファイルのパーサーを作成または使用する -- robots.txt パーサー java