В выдаче куча не существующих страниц =(

MIKLFIRM
На сайте с 13.02.2010
Offline
166
711

есть сайт из 30 страниц: ****.ru (сайту чуть меньше года)

Страницы на нем генерируются по средствам get запорсов: ****.ru/?cont=nazvanie-stati

Не давно из Гугла вылетели все запросы =(

Захожу в гугл: site:****.ru

И выдает мне кучу страниц:

****.ru/?р=102

****.ru/?р=156

****.ru/?р=172

****.ru/?р=334

На сайте есть сайт мап, указан в центре вебмастеров гугл.

2 вопроса:

1. Связаны появление этих страниц и вылетом запросов?

2. Как их убрать? (Что можно прописать в robots.txt)?

Жизнь в стиле IT (http://www.mikl.su) Мои отзывы (http://about-hosting.ru/) о хостингах.
ZN
На сайте с 12.05.2008
Offline
44
#1
2. Как их убрать? (Что можно прописать в robots.txt)?

Чтобы запретить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Disallow'. Примеры:

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту

User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам
#начинающимся с '/cgi-bin'

Disallow: /?р=

asto
На сайте с 13.10.2005
Offline
180
#2

Если статьи по такому урлу генерируются /?cont=nazvanie-stati, а несуществующие страницы по урлу типа ru/?р=102, то имеет смысл /?p= закрыть от индексации через роботс. Но это в том случае, если только левые страницы, а не все. Движок шлак походу, который не может определить есть у него в базе такая страница или нет, чтобы 404 ошибку выдавать на несуществующую страницу. Ну или Вы сами движок через анал настроили) Код для роботса выше указали, только там вместо юзерагент: Яндекс, лучше указать команду для всех поисковиков, так как закрыть такое надо бы от всех поисковиков, а не только от Яндекса.

MIKLFIRM
На сайте с 13.02.2010
Offline
166
#3

Движок сам писал =)

видно руки кривоваты!

Спасибо за советы!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий