web-crawler - NOINDEXメタタグを使用してページを保存できますか？

Question

私はwebcreawlerを実行していて、robots.txtとmetatagsNOINDEXおよびをフォローしようとしていますNOFOLLOW。

NOFOLLOWページ内のリンクをたどらないようにと私に言いますが、NOINDEX？
検索でページのインデックスを作成しないことは理解していますが、検索は行わず、ページをデータベースに保存するだけです。

NOINDEXデータベースに保存する場合、またはこれが検索にのみ適用される場合、タグを軽視しますか？

Answer 1

保存しない特別な理由はありません。インデックスを作成して検索結果に返さない限り。NOINDEX検索結果として返さない限り、の意味を軽視しているわけではありません。