Сорри за офтоп.
INTERDESIGN, простите за ламерский вопрос, а что такое "бан за зеркалирование" и как в него попасть?
http://aesbalakovo.narod.ru/
Да, похоже опять откат. И в туризме все вернулось :)
Может ты и прав. Основной довод - страницы робот ел, апдейты были, а общее количество страниц в течении месяца не уменьшалось. Новые страницы в это время не добавлялись, следователь старые не удалялись.
Хотя мысль со склейкой дублей мне в голову не приходила. Может быть одни дубли удалялись, а на их место вставали зеркала. Возможно дело в этом.
Жень, ситуация была примерно такая. На сайте было около 2000 дублей с SIDами. С того момента как скрипт начал выдавать 404 и до исключения этих страниц из индекса прошло не меньше месяца. На протяжении этого месяца бот регулярно заходил 1-2 раза в неделю. Было это еще в те времена, когда был лимит на индексацию 500. Каждый раз бот брал 500 страниц с "200 ок" и 500 и более страниц с 404, которые в лимит соответственно не входили.Естественно я все урлы не сравнивал, сравнивать SIDы скучное занятие :) , но общее кол-во съеденных страниц с 404 горащдо больше 2000, отсюда и вывод о том, что эти страницы были съедены неоднократно.
Думаю весьма логично удалять страницы не сразу, после первого же 404 отклика, а проверять еще как миниму раз. Мало ли что могло отвалиться. А что тебя в этой ситуации смущает?
Нет. Проверял регуляркой REQUEST_URI на наличие SID'а и в случае надобности отдавал хидер 404.
Да вроде нет. Я тут по одному проекту удалял дубли с SID'ами недавно. 404 выдаю - робот ест, а страницы из индекса не выпадают. Написал в суппорт. Ответили так:
Ну вобщем то, что бот с каждой страницы 404 получил несколько раз это факт. В итоге на удаление ушел месяц времени.
При 404 ничего не передается. Несколько заходов подряд робот получает 404 и страница просто удаляется. Как что-то может передавать страница которой физически нет? Нет страницы - нет ссылки на ней - нету соответственно и ИЦа :)
ZanderXML - это очередная провокация?
Сегодня по одному проекту отвалилась морда. Похоже что не только у меня. Первую страницу выдачи по этой теме сильно переколбасило.
Стал смотреть, сайт по запросам вылазит, но в ж..е и в выдаче не морда. Думал было морда вообще из выдачи вылетела, надеялся может типа кластер какой отвалился, ан нет. Морда в индексе есть, и по некоторым неинтересным запросам все же вываливается.
Начал разбираться где собака порылась и нашел в статистике интересную запись. В 00:04:00 заходил на морду fireball.yandex.ru (IP 213.180.193.104) (User Agent - Bond, James Bond (version 0.07)).Что то тут уже про эту штуку было.
Походу дела наказали, хотя не очень понятно за что :( Вроде небыло ни клоак, ни дорвеев. Все как у всех, вполне прилично :)
Вот такая грустная история :(
