Кривая индексация

W
На сайте с 09.01.2010
Offline
24
482

Вообщем есть сайт (на ДЛЕ), в гугле он уже 4 месяца. В вм тулс добавлена карта сайта и роботс. Все работало коректно, но неделю назад вдруг все профили влетели в индекс. В роботс и сайтмэп ошибок нет (ну так гугл говорит).

Роботс такой

User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: сайт
Sitemap: сайт

Как видите Disallow: /user/ присутствует. Что делать?:gm:

S2
На сайте с 03.11.2010
Offline
105
#1

дык гугл вроде хочет признания, и User-agent:* ему мало, подавай Googlebot.

А самое надежное, чтобы сайт выдавал метатег robots="noindex,follow" на страницах профилей, тогда и спать будете крепче. Ведь роботс-это всего лишь рекомендация.

W
На сайте с 09.01.2010
Offline
24
#2
Serjo_201:
дык гугл вроде хочет признания, и User-agent:* ему мало, подавай Googlebot.
А самое надежное, чтобы сайт выдавал метатег robots="noindex,follow" на страницах профилей, тогда и спать будете крепче. Ведь роботс-это всего лишь рекомендация.

Спс, прийдеться еще и регистрацию и т.д. вручную закрывать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий