Яндекс нашел MegaIndex

Anves, не поможет, можете попробовать http://webmaster.yandex.ru/robots.xml

inseonight, и что мне там курить, друг? :) покажи если не троллишь.

http://i.forumimg.net/smilies/beer.gif

Ну Гугл эти данные действительно очееень давно индексировал, такой был и есть роботс.

А с регистром для Яндекса — видимо прокололись парняги)

Ну как сказать, если дополнительных действий по удалению не предпринимать, то занять это может и до полугода — легко.

Так и представляю себе, как Коля Хиврин долгими зимними вечерами удаляет урлы из индексе вручную... :)

По сабжу, понятно, что с Яндексом MI прокололся на регистрозависимости, но почему тогда Google проиндексировал 100 000 страниц или там тоже регистрозависимость играет роль при составлении robots.txt?

Потому что там указаны правила только для яндекса.

Вот я слепая ...да, спасибо. :)

Спасибо кэп 😂

С 2009 года нельзя было прописать для гугла, я понимаю что он с тех пор подрос гугл, я имею ввиду.

Да, играет... и там.

А в запросах нет: inurl:"?tab=siterate"

Вот и об чём это всё?

robots.txt был составлен давно по причине высокой нагрузки, создаваемой поисковыми роботами на сервера MegaIndex. Сейчас у нас нет таких проблем с производительностью и мы не видим проблемы в попадании нашего рейтинга в индекс.

О влиянии регистра нам известно.

Страницы рейтинга были в индексе уже очень давно, однако этот раздел был исключен из видимой части индекса фильтром АГС.

Видимо с ростом доверия к сайту megaindex.ru Яндекс посчитал, что этот раздел можно выводить в основном индексе.

Мы считаем, что Яндекс всё равно сам исключит рейтинг из основного индекса по причине отсутствия уникального контента.

Cпасибо, нам всё ясно.