今日、一部のクローラーが私のサイトを通過し、いくつかの css、js、画像、およびその他のファイルにアクセスしようとしました。これもスマートなもので、javascript も解釈し、javascript コード内で組み立てられた (そして唯一知られている) URL を実行したいと考えています! それは私をかなり心配しています。
サイト上の私のコードはこの奇妙な動作を検出し、それについて 3 通の電子メールを送ってきましたが (これは私が過去に作成したブロッカー クラスであり、完全に機能し、さらなるアクセスをブロックします (3 回の攻撃の後、攻撃者は停止します)、私はこれらの悪者を最大限に排除して、ネットワーク トラフィックを削減し、サービスを保護し、このばかげたことに費やす時間を節約したいと考えています。
だから私はちょうど考えていた、ストリップされたhtmlファイルのコンテンツ（フォーム、css、およびjs宣言なし）をロボット/クローラーに送信しますが、それは良いものに影響を与えてはなりません. クローラーはマークアップを必要とせず、コンテンツだけが重要であるというこの背後にある考え方ですよね? ランキングにとって重要ではないファイルにアクセスしようとするのは悪意のある人だけです....しかし、そこにない場合は心配する必要はありません。だから私の質問は：
これを行うのは安全ですか、つまり、グーグルはあなたがコンテンツを偽造していると「考えていない」のでしょうか? 特にクローラーのパーツの取り外しは、元の内容とは少し異なります。
これを経験した人はいますか？
PS: 私のテンプレート システムは、ユーザー エージェント/デバイス固有の条件を使用して、別のマークアップや設定などを提供できるため、実装は簡単です。
<!-- #IF $is_handheld -->
<!-- iPhone, iPad mobile/handheld devices -->
<meta name="viewport" content="width=device-width,initial-scale=0.9,maximum-scale=2.0,user-scalable=1" />
<meta name="apple-mobile-web-app-capable" content="yes" />
<!-- #ENDIF -->
これは私が実装しようと考えている例です:
<!-- #IF !$is_robot -->
<link rel="stylesheet" type="text/css" charset="utf-8" href="css/dialog.css" />
<link rel="stylesheet" type="text/css" charset="utf-8" href="css/general.css" />
<script rel="combine,minify" type="text/javascript" charset="utf-8" src="js/general.js"></script>
<!-- #ENDIF -->