Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как правильно закрыть в robots.txt?

Jumanjee
На сайте с 27.03.2010
Offline
83
Jumanjee
305

В общем недавно выяснилось, что каким-то образом на серваке генерировался шлак в виде:

sdfgadfhbdfh.site.ru

asdasd.site.ru

Т.е. тупо что не введи, все имело страницу в виде главной домена site.ru, тем самым проиндексировались такие хвосты как w.site.ru ww.site.ru www.site.ru.

Как правильно закрыть в роботсе от индексации эти хвосты?

301 стоит, но гугл не сильно спешит обновлять кеши тех страниц и получается что с такими "псевдоподдоменами" по несколько тысяч страниц в индексе.

Это не поддомены, чтобы залить в их папку

User-agent: *

Disallow: /

WebAlt
На сайте с 02.12.2007
Offline
266
WebAlt
#1

Это не редиректами и закрытием делается, а настройками ДНС.

У вас скорее всего в настройках ДНС запись "A" настроена как *.example.com. или просто звёздочка установлена.

Если так, то сделайте вместо них, например две записи:

"example.com. A IP-адрес" и "www A IP-адрес"

Ну и для нужных поддоменов, если есть, добавьте, например для subdomen1.example.com и subdomen2.example.com:

"subdomen1 A IP-адрес"

"subdomen2 A IP-адрес"

и т.д.

Яндекс дал практические рекомендации Появился плагин к TYPO3 Сообщество рекламодателей Google переезжает

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий