robots.txt на домене и поддомене. Запрет индексации некоторых страниц.

AS
На сайте с 03.11.2009
Offline
29
2243

Привет!

Начальные условия:

site.ru/page, pod.site.ru/page - одинаковые страницы.

site.ru/robots.txt, pod.site.ru/robots.txt - одинаковые robots.

Проблема:

в выдачу вылезла страница поддомена (pod.site.ru/page) вместо ожидаемой страницы основного домена (site.ru/page).

Вопрос:

Как безболезненно заменить в выдаче pod.site.ru/page на site.ru/page?

Спасибо!

kimberlit
На сайте с 13.03.2007
Offline
370
#1
AFoST:
site.ru/robots.txt, pod.site.ru/robots.txt - одинаковые robot

А что в них прописано?

AS
На сайте с 03.11.2009
Offline
29
#2
kimberlit:
А что в них прописано?

Вот содержимое:


User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /category/
Disallow: /node/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=category/
Disallow: /?q=node/
[Удален]
#3

Пропишите в robots.txt Host:

Host: site.ru
AS
На сайте с 03.11.2009
Offline
29
#4
SeoMad:
Пропишите в robots.txt Host:

В этом случае все региональные (поддомены) сайты выпадуд из индекса?

Предполагаю, что на поддомене надо прописывать тоже

host: pod.site.ru

Так?

Road Video
На сайте с 16.01.2012
Offline
44
#5
AFoST:
Предполагаю, что на поддомене надо прописывать тоже

Да, именно так. Для каждого поддомена свой robots.txt со своей директивой Host.

Road Video | Размещай видео - получай деньги!
[Удален]
#6
AFoST:
В этом случае все региональные (поддомены) сайты выпадуд из индекса?

Если роботс у всех будет один и тот же - то да, в индексе останется единственный сайт, указанный в Host.

Вам уже дали правильный совет - делайте каждому поддомену свой robots.txt, в котором прописывайте соответствующий Host.

AS
На сайте с 03.11.2009
Offline
29
#7

Спасибо за помощь!

donc
На сайте с 16.01.2007
Offline
663
#8
SeoMad:
Если роботс у всех будет один и тот же - то да, в индексе останется единственный сайт, указанный в Host.

С разным содержанием?

Поддомен может и выкинет, но не в жизни не склеит

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
[Удален]
#9
donc:
С разным содержанием?
Поддомен может и выкинет, но не в жизни не склеит

А никто и не говорите о склейке :-) речь об индексации, как вы правильно заметили.

Seo-Seo
На сайте с 05.12.2006
Offline
292
#10

Нужно выкинуть папку из индекса, при этом вложенные папки трогаться не должны, инструкция будет такая?

Disallow: /папка/

Или она подразумевает исключения и папок, которые в нее вложены?

Извиняюсь за критинический вопрос, я переработал, а ответ нужен сейчас, не пинайтесь =(

Комплексное продвижение от группы профи. Внимательно, качественно, грамотно. Дизайн, контекст, таргет. (/ru/forum/1024059) hugo.digital (https://hugo.digital)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий