А разве не после первого же 404-го отклика удаляют страницу из базы?
ZanderXML, вот я не пойму зачем так умничать было, поучать поиску... да об одном сайте речь ведём. И ответ на поставленный вопрос уже давно прозвучал - убрать идентификаторы сессий, из-за них не индексируется сайт.
Может тоже неверно понял, какой именно сайт имеется ввиду. Но у тех, что подходят по описанию проблема одинакова, её Lisa озвучила - идентификаторы сессий в урлах. Надо убирать.
Как по мне, так то, что он выдает, скорее нужно называть "не работает".
Подскажите пожалуйста, а как их взять?
NULL, с год назад в рамках борьбы с дубликатами на сайте добавил в robots.txt строчку "Disallow: /?" Вскоре из Рамблера практически весь сайт вывалился, только новостей немного осталось в базе... написал, спросил в чём дело. Ответили только что я сам запретил индексацию. Предположил что этой строкой как раз, убрал, страницы снова появились в базе. И еще раз написал, спрашивал почему такая запись запрещает индексацию, где об этом написано. В ответ тишина. Им, видимо, свои баги править не надо.
А сказать нечего, Sim, у меня не получится приехать. За приглашение спасибо :)
Аналогично.
Поздравляю!
Нет, конечно.
