Scooter, тебе нужно на такой странице в http-заголовке отдавать код 404 Not Found и в хеде документа отдавать <meta name="robots" content="noindex"> (я отдаю для пущей уверенности content="noindex,nofollow" ), а в роботсе ни в коем случае не запрещать эти страницы.
Технически на ДЛЕ это решается очень просто (небольшая модификация кода), а вот в Вордпрессе и прочих двигах - просто не колупался досконально :)
ЗЫ: взято из рекомендаций ГуглоВебмастера и работает на ура.
535i добавил 30.05.2011 в 13:37
ЗЫ2: поясню логику..
если на несуществующую страницу ссылается хотя бы одна внутренняя или внешняя страница - гугл будет пытаться до усирачки индексить эту страницу (невзирая на код 404 или запрет в роботсе). поэтому, запрещать её в роботсе нельзя - так и будет в ошибках висеть. нужно её разрешить в роботсе, потом отдать на неё код 404 и метатег content="noindex" - тогда её при следующем обращении выкинет из индекса/ошибок.
если страница без метатега (или запрещена в роботсе) и при этом отдает код 404 - то бот ломится на неё, пишет её в ошибки и пытается индексить чуть ли не вечно ;)
депозит в бане каспера
website, мозг заклинило?
быстроробот последние дни озверел - ест раз в 10 больше обычного %)...... наверное дело к ТИЦу движется
вот незадача :(
- "Too many connections" на платниках
535i добавил 15.05.2011 в 03:39
Upd: заработало, но слегонца тормозит
.A.R.T., из-за этого не падают
очень странно апнуло - яшка выбросил на одном из сайтов из индекса целую отдельновзятую жирную категорию...
честно говоря, первый раз такое встречаю - есть кто с подобными проблемами?
понеслась..... пятница 13-е :)
http://tools.promosite.ru/ подтверждает
здесь https://www.google.com/webmasters/tools/reconsideration?hl=ru попробуй
vitor, стата вроде нормально работает
вот только не знаю одно: конверт значительно поднялся сегодня, но то ли у всех, то ли у меня из-за сегодняшнего апа яшки...
