Описание веб-страницы недоступно из-за ограничений в файле robots.txt.

Roousk
На сайте с 07.10.2012
Offline
58
710

Добрый день, форумчане. Недавно столкнулся с такой проблемой. Имеется свой молодой сайт, на котором около 25 статей, в файле robots.txt сделаны запрет на индексацию категорий, дублей, ленты и т.д. для все поисковиков. Спрашивал у нескольких людей, разбирающихся в этом сказали что роботс правильно сделан. Яндекс адекватно индексирует нужные статьи, Гугл индексирует все подряд. Если в яндексе в индексе 25 страниц(как и должно быть), то в Гугле 110, причем в описании ссылкок, запрещенных в robots.txt указывает "Описание веб-страницы недоступно из-за ограничений в файле robots.txt.". Пробывал удалять через панель вебмастера, все равно через неделю ситуация повторяется. Кто что-нибудьпосоветует?

PC
На сайте с 28.08.2007
Offline
83
#1

Посоветую не задавать в запросе урл страницы. Все равно кроме Вас его задавать никто не будет.

Roousk
На сайте с 07.10.2012
Offline
58
#2
PapaCarlo:
Посоветую не задавать в запросе урл страницы. Все равно кроме Вас его задавать никто не будет.

просто не понятно почему гугл индексирует запрещенное

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий