私の Web サイトのサイトマップ ファイルを中国の BAIDU に送信しました。
私のサイトマップは次のもので構成されています:
1) gzip で圧縮された 16 個のサイトマップ ファイル。各ファイルは 10Mb 未満で、含まれる URL は 50K 未満です。
2)上記のサイトマップ gzip ファイルへのリンクを含むサイトマップ インデックス。
私が見ているのは、Baidu の非常に奇妙な動作です。一部のサイトマップ ファイルはFailed Crawl (抓取失败)としてマークされますが、他のファイルは処理されているようです (通常 - 通常)。
同じセットのサイトマップを再送信すると、他のファイルはランダムに失敗したクロールになりますが、以前に失敗したファイルは確実に処理できました。
Baidu のメッセージ " Failed Crawl " (抓取失败) を除き、サイトマップの問題点を見つけることができません。
Baidu がファイルに "Failed Crawl" を無作為にマークするので、私は頭がおかしくなっています。
誰が何が間違っていると示唆できますか?
または、「クロールに失敗しました」という理由で Baidu からの正確なエラー メッセージはどこで確認できますか?
最後に、5 回試行した後、Baidu はサイトマップ インデックス ファイルを「クロール失敗」としてマークします (ただし、送信後は常に最初に「待機中」ステータスになり、次に「正常にクロールされていない」状態になります)。
注: Google、Yahoo/Bing、Yandex で正常に処理された同じファイル!
スクリーンショットはこちらをご覧ください: https://drive.google.com/open?id=0BzDlz6j9c35WWkdwb3F6LW9zazA