robots.txt に次のように記述できます。
#Baiduspider
User-agent: Baiduspider
Disallow: /
#Yandex
User-agent: Yandex
Disallow: /
検索エンジンにアプリ ページ (php アプリ) のクロールを停止するように指示します。しかし、GAE で IP によってそれらをブロックする方法は?
robots.txt に次のように記述できます。
#Baiduspider
User-agent: Baiduspider
Disallow: /
#Yandex
User-agent: Yandex
Disallow: /
検索エンジンにアプリ ページ (php アプリ) のクロールを停止するように指示します。しかし、GAE で IP によってそれらをブロックする方法は?
2 つの方法があります。
コードでそれを行います。
DOS 機能を使用する https://developers.google.com/appengine/docs/python/config/dos