Яндекс нашел MegaIndex

123 4
fivefinger
На сайте с 27.01.2011
Offline
87
4391

Свежо в памяти предание об просочившихся в индекс Яндекса страницах с СМС Мегафона, заказами из сексшопов и ЖД билетах, которые оказались там по вине криворукости вебмастеров и неправильно составленного файла robots.txt. Собственно в этот раз Яндекс нашел и проиндексировал внутренности MegaIndex в количестве целых 15 000 страниц (это только каталог сайтов разбитый по категориям, всего же в индексе около 21 000 страниц). Заметил я это вчера, когда увидел в панели вебмастера Яндекса в беках ссылку с MegaIndex, если кому интересно, могу выложить скрин. Мне конечно очень приятно, что на мой сайт ссылается MegaIndex, но сложившаяся ситуация, как мне кажется, свидетельствует о непрофессионализме товарищей из MI, которые не смогли грамотно составить файт robots.txt. Все бы ничего, если бы это был сайт дяди Васи из Уряпинска, но когда такие косяки допускают разработчики систем автоматизированного продвижения – это как-то не кошерно. Получается на данный момент, с точки зрения поисковиков, MegaIndex похож на линк помойку или я не прав? :)

P.S. интересно, как быстро MI договорится с Яндексом и Google (81 300 страниц в индексе) о удалении этого хозяйства? :)

EvilMinds - пока другие делают вид, мы работаем на результат. (/ru/forum/936293)
J
На сайте с 07.10.2010
Offline
163
#1

ну роботс правильно составят..потом немного времени..и выпадут ненужные странички.

C
На сайте с 28.01.2010
Offline
70
#2

Это ж вроде и так открытая информация.

Это - личная подпись. Здесь обычно ставят ссылки на всякие кривые сайты, надеясь получить "жирный бек".
fivefinger
На сайте с 27.01.2011
Offline
87
#3
Counselor:
Это ж вроде и так открытая информация.

Если судить по robots.txt, то по всей видимости, они хотели, чтобы она была закрыта от индексации, но как-то не срослось.

Ёхан Палыч
На сайте с 07.05.2006
Offline
169
#4
fivefinger:
Если судить по robots.txt, то по всей видимости, они хотели, чтобы она была закрыта от индексации, но как-то не срослось.

Ага, были не в курсе регистрозависомости роботса, хотя может быть просто кто-то поправил урлы для красоты без задней мысли.

K
На сайте с 31.01.2001
Offline
737
#5

У robots.txt Last_Modified 2009 года. Поэтому он такой и был.

P.S. А, понял, это регистрозависимость. Да, есть косяк.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
automatica
На сайте с 25.12.2009
Offline
81
#6
Ёхан Палыч:
Ага, были не в курсе регистрозависомости роботса, хотя может быть просто кто-то поправил урлы для красоты без задней мысли.

Согласен с тобой, в той выдаче нашел документы от мая месяца, видимо они давно поправили урлы, а рототс нет, и поэтому это в выдаче как минимум 4 месяц:)

Чтобы не быть голословным:

http://hghltd.yandex.net/yandbtm?fmode=inject&url=http%3A%2F%2Fwww.megaindex.ru%2Findex.php%3Ftab%3DsiteRate%26cPath%3D120%26sort%3D3d&text=inurl%3A%22%3Ftab%3DsiteRate%22%20site%3Awww.megaindex.ru&l10n=ru&mime=html&sign=ae9348d6fd9f6b706c79f2f755ee52d1&keyno=0

))дьявол кроется в деталях.

http://pit.dirty.ru/lepro/2/2011/10/21/50549-112955-f68ef3af31a553360fd555ec9ed7d9ac.jpg
fivefinger
На сайте с 27.01.2011
Offline
87
#7
automatica:
Согласен с тобой, в той выдаче нашел документы от мая месяца, видимо они давно поправили урлы, а рототс нет, и поэтому это в выдаче как минимум 4 месяц

Самое раннее, что нашел 28.05.11, надо будет вечером поиграться с параметром "date", может быть удастся найти и более старую сохраненку, а она там должна быть, как мне кажется.

UPD: как и думал, есть и старая сохраненка, нашел за ноябрь 2010 года.

automatica
На сайте с 25.12.2009
Offline
81
#8
fivefinger:
Самое раннее, что нашел 28.05.11, надо будет вечером поиграться с параметром "date", может быть удастся найти и более старую сохраненку, а она там должна быть, как мне кажется.

UPD: как и думал, есть и старая сохраненка, нашел за ноябрь 2010 года.

ничего не пойму, а кэш бьется по 28 07 2011, посмотри в кэше.

fivefinger
На сайте с 27.01.2011
Offline
87
#9
automatica:
ничего не пойму, а кэш бьется по 28 07 2011, посмотри в кэше.

Странно, посмотрел по кешу, а там действительно за 28.07.2011 надо по Google пробить.

A
На сайте с 12.07.2011
Offline
23
#10

У Мегаиндекса расколбас по тематикам. mforum.ru например у них занесен в раздел "Дачи")

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий