robots.txt vs. meta

Sadie
На сайте с 11.04.2005
Offline
64
394

Чтение логов навело меня на следующий вопрос:

Допустим, есть некий форум, где форма ответа имеет вид .../script?reply&post=PostId

Внутри формы, естественно, прописано <meta name="robots" content="noindex, nofollow">

Сейчас Яндекс занят тем, что активно скачивает эти формы, и, как я понимаю, найдя соответствующую мету, выбрасывает страницу и идет дальше.

Также я где-то видела, что поисковик берет некоторое количество страниц за один заход...

Вопрос: считаются ли такие выкинутые страницы скачанными? Уйдет ли робот после скачивания некоторого количества подобных страниц, или будет выполнять норму по страницам, которые открыты и несут смысловую нагрузку?

Есть ли смысл мучиться с robots.txt если траффика не жалко?

Новости без комплексов (http://www.kompleksov.net/) | ЖЖ (http://sad-sadie.livejournal.com/)
Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#1

Конечно, есть. Лучше закрыть их в robots.txt.

Advisor
На сайте с 24.11.2003
Offline
177
#2

Sadie, закройте в роботс все страницы с профайлами и технические страницы. Оставьте только те, на которых собственно и ведутся дискусии - информационные страницы.

Sadie
На сайте с 11.04.2005
Offline
64
#3

Понятно. Спасибо.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий