Ошибки в сканировании гугля

S
На сайте с 31.03.2011
Offline
13
672

В "инструментах для вебмастера гугл выдал следующую ошибку" -

http://ozero-garda.ru/?page_id=193

URL, запрещенный файлом robots.txt 28.03.2011

http://ozero-garda.ru/?page_id=191

URL, запрещенный файлом robots.txt 28.03.2011

НО у меня ссылки, в т.ч в карте сайта выглядят следующим образом - http://ozero-garda.ru/ozero-tovel

Почему могла произойти такая ошибка?

Что в robots.txt отвечает за форму ссылок?

Спасибо!

B
На сайте с 10.07.2010
Offline
20
#1
sashag:
В "инструментах для вебмастера гугл выдал следующую ошибку" -
http://ozero-garda.ru/?page_id=193
URL, запрещенный файлом robots.txt 28.03.2011
http://ozero-garda.ru/?page_id=191
URL, запрещенный файлом robots.txt 28.03.2011


НО у меня ссылки, в т.ч в карте сайта выглядят следующим образом - http://ozero-garda.ru/ozero-tovel

Почему могла произойти такая ошибка?

Что в robots.txt отвечает за форму ссылок?

Спасибо!

это у вас страницы пейджинации, и как видете они формируются с главной они в принципе и должны быть закрыты, т.к делают дубли часто

Недвижимость от собственников Украина zametr.ua (http://zametr.ua)
D3
На сайте с 11.07.2009
Offline
39
#2

Автор сорри что в Вашей теме пишу но такой же вопрос возник. Очень много ошибок 404 (Не найдено), много потому что часто очищаю сайт и удаляю старые не актуальные новости, движок сайта DLE, подскажите как можно закрыть/запретить роботам сканировать эти страницы или как их удалить из поиска (я так понимаю новость удалил но страница осталась в поиске )) Или можно как то сделать что бы с страницы с ошибкой перебрасывало на главную, вобщем как бороться с этим? Спасибо за ответ.

R
На сайте с 16.10.2009
Offline
14
#3

А зачем вообще удалять старые новости? Пусть себе болтаются в архиве и собирают трафик. Это же бред - представьте, что кто-нибудь поставил ссылку на вашу новость, по ней переходит человек - бац, 404, закрыли страницу. Редирект мало чем отличается в этом смысле от 404, большинство пользователей закроет страницу, заметив, что их средиректило с внутряка на морду.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий