Плохой пример, Вашим же условиям не один сайт на этой странице не соответствует.
Vertigo, NetGirl, линкаторы и его разновидности использовали?
Skorniliev, а вы пример такого сайта не приведёте?
С радостью присоединяюсь! :)
Жаль только, что самого именинника давно уже не видно.
Приблизительно можно, сопоставив популярность запросов в Рамблере. Но точность такого метода сомнительна.
robots.txt тут не поможет. Ищите по if modified since
А... как это? То есть мне нужно лог каждый раз к себе на машину выкачивать? Все 140 мегабайт, к примеру? Ну на фиг...
Поздравляю! 🍻
Удачи на дорогах! ;)
Да просто всегда думал, что робот получая 404 сразу даёт команду на удаление. Вот и пытаюсь разобраться, может не прав был... пока что мнение не изменил :)
Откуда известно?
Как-то удалял страницы с идентификаторами, запрещая их в robots.txt К тому моменту идентификаторы уже не выдавались, страниц таких было мало. И получилось очень интересно - только из индекса пропадёт запрещенная страница, как на её месте появляется другая, с другим идентификатором. Я это к тому, что страницы эти имеют минимальные отличия, если вообще имеют, потому они могут склеиваться и их число могло оказаться гораздо большим.
Хотя и не так важно их число, ведь правильно сказал, 404-е в лимит робота не входят.
Я логику Яндекса всегда понимал как "поменьше телодвижений" - нет страницы и ладно, удаляем, трафик на повторную проверку тратить не очень-то нужно :)
Интересно, никогда раньше не сталкивался с тем, чтобы страницы не сразу удалялись. @uthor, такой вопрос:
и SID каждый раз один и тот же был?
В ответе Людмилы Ильинской слов, однозначно подтверждающего Ваше мнение, нет - "постепенно" можно трактовать как "по мере обходом роботом сайта".
