Форум Поисковые системы Прочие поисковики

Mail.u хитрит с robots.txt

Р
На сайте с 10.10.2011
Offline
63
Романо
577

Заметил интересную особенность, если в robots.txt прописать, например, Disallow: /index.php?page=home, то известные поисковики-гиганты не индексируют страницы, начинающиеся с запретной строки:

http://domain.com/index.php?page=home&page=1

http://domain.com/index.php?page=home&refresh=true

Mail.ru же переставляет переменные в запросе так, чтобы правила robots.txt выполнялись и страницы индексировались:

http://domain.com/index.php?page=1&page=home

http://domain.com/index.php?refresh=true&page=home

Вопрос, зачем так делать? Ссылок в такой последовательности переменных на сайте нет. Попытка нарастить поисковую базу?

Разрешаю пользователям высокого мнения о себе и своих способностях минусовать мою репутацию )
V1
На сайте с 26.07.2007
Offline
102
vladimir_112
#1

А логи можете выложить от него?

Не нравиться, отправьте в баню mail)

я кочегарю Топы Яндекса и Гугла.
аrmagedon
На сайте с 01.07.2009
Offline
105
аrmagedon
#2

Очень сомневаюсь что он таким образом хочет поисковую базу ненужным материалом забить, сервера нынче денег стоят. Это гугль может позволить себе индексировать что не лень 🙄

А что если переписать правило просто Disallow: /*page=home* ?

Misha0o
На сайте с 12.08.2012
Offline
74
Misha0o
#3

Надо переписать запрет, со звездочкой что-нибудь придумать для таких страниц.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий