Яндекс вебмастер. Страницы под robots.txt, Яндекс решил сканировать страницы под rob

X
На сайте с 22.04.2012
Offline
11
564

Здравствуйте. Такой вопрос. Обнаружил, что яндекс стал сканировать внутренние страницы сайта. Сайт на друпал 6. Специально выискивал внутренние страницы, делал перечень ссылок, который поставить надо в файл robots.txt под запрет индексации. А яндекс сегодня выдал мне сюрприз - +250 ссылок под запретом в файле robots.txt. Пока я нашел все внутренние страницы, испытывал несколькими инструментами по поиску ссылок. А яндекс значит решил проиндексировать их и поставить в вебмастере в раздел "запрещен к индексированию в файле robots.txt".

Хочу у знать ваше внение, как относиться к росту количества ссылок в вебмастере под роботс тхт. Как вы думаете будет на это реагировать сам яндекс?

Если стоит, то как сделать так, чтоб яндекс вообще не заходил и не сканировал внутренние страницы сайта?

Может кто нибудь еще сталкивался с этакой проблемкой и как-то ее решил? Заранее спасибо за ответы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий