Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как в dle закрыть календарь от индексации

M
На сайте с 17.05.2010
Offline
60
mayavt
1724

Добрый день.

в общем-то суть вопроса в названии темы.

Яндекс индексирует страницы вида http://www.***.com/2010/09/08/

при этом в роботсе, записано

User-agent:

Disallow: /index.php

Disallow: /*print

Disallow: /*user

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: /templates/

Disallow: /upgrade/

Disallow: /autobackup.php

Disallow: /?do=addnews

Disallow: /?do=feedback

Disallow: /?do=lostpassword

Disallow: /?do=pm

Disallow: /?do=stats

Disallow: /?do=search

Disallow: /?subaction=newposts

Disallow: /?do=lastcomments

Disallow: /statistics.html

Disallow: /tags/

Disallow: /2010/

Disallow: /*2010

Disallow: /catalog/

Disallow: /favorites/

Disallow: /lastnews/

Disallow: /newposts/

Disallow: /uploads/

Disallow: /addnews.html

Disallow: /?do=

Disallow: /rules.html

Disallow: /statistics.html

Disallow: /*page/

Host: www.***.com

Sitemap: http://www.***.com/sitemap.xml

Что не так? Где-то ошибка? Почему календарь все же индексируется даже при запрете всей папки 2010?

delpher
На сайте с 29.01.2007
Offline
139
delpher
#1

после User-agent: идет * или Yandex ?

delpher добавил 18.09.2010 в 13:09

В яндекс вебмастере в разделе "Анализ robots.txt"

вставьте урл http://www.***.com/2010/09/08/ и проверьте запрещено к индексации или нет

Delarante
На сайте с 13.07.2008
Offline
69
Delarante
#2

Почему User-agent: пустой?

Другие правила соблюдает? К примеру Теги смотрю закрыты, их индексит?

M
На сайте с 17.05.2010
Offline
60
mayavt
#3
Delarante:
Почему User-agent: пустой?
Другие правила соблюдает? К примеру Теги смотрю закрыты, их индексит?

Delarante, ого, вот это моя невнимательность. когда последний раз дописывала роботс видимо стерла по ошибке. После этого и началась индексация календаря.

Спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий