Чуть не удалил свой сайт из индекса :) Будьте осторожны!

спасибо за совет, но мне кажется, при подобном использовании robots.txt вы не совсем рационально используете ваши внутренние seo ресурсы, то что закрыто роботом все потеряно, лучше использовать другой метод

В голове не укладывается. Если сервер отдает 404 Not Found, то такой страницы просто нет.

спасибо за намек, лишнего не закроем))

Z-Style добавил 05.12.2010 в 17:30

для WMT достаточно ссылки на несуществующую страницу чтобы отобразить ее в ошибках сканирования

А в чем смысл удаления несуществующих страниц?

Ведь если страница отдает 404-ю ошибку, гугл сам через некоторое время должен ее выкинуть из базы. Разве не так?

Страницу как сайт - это как?

ТС, всё правильно задумал. Нужно закрыть всё лишнее, во избежание дублей.

ссылка вида /?cat=60 - это ссылка на категорию с ИД=60. Если включён ЧПУ то правильная ссылка будет ЧПУ-шная, а это лишь её дубль.

откуда у вас вылезло это "нужно"? ))

никто ж не спорит с задумкой, мною было предложено сменить реализацию ) судя по всему он правильно понял

Я выше по русски вроде написал.. (ключевое слово - дубли)

Дубли чего? я чето нифига не пойму.. вы это определяете через вебмастера гуглтул? Кэшированая страница определяется как 404 нот фаунд? а если перейти по адресу страницы? Так это глюки вордпреса или гугла.. или афтара сайта? И кто такой WMT ???!11🤪

Дубли страниц, контента.

ВебМастерТоол наверное ;)