Форум Поисковые системы Яндекс

А действует ли сейчас в Яндексе директива Host?

E
На сайте с 05.10.2005
Offline
172
espada
755

Выкладываю на сайт robots.txt такого вида:

User-Agent: Yandex

Disallow: /find.php

Disallow: /detal.php

Host: www.czudovo.info

Проверяю этот robots на Яндекс.Вебмастер. Запрашиваю УРЛ без www и получаю ответ:

Результаты проверки URL

http://czudovo.info разрешен

Спрашивается - что бы это значило? Действует ли директива Host?

И для технического адреса, созданного автоматически в cpanel (ради неиндексации которого этот Host и нужен) - проверка тоже выдает лишь запрещающие правила, указанные в Disallow, а на Host никак не реагирует.

Соответственно вопрос, что делать, чтобы Яндекс проиндексировал сайт по правильному адресу, а не по техническому?

открытая многоязычная словарная база (http://tolmacz.ru)
LEOnidUKG
На сайте с 25.11.2006
Offline
1770
LEOnidUKG
#1

Эта директива подсказывает роботу какой домен главный. Потом прейдет зеркальщик всё обработает по этой директиве т.е. поклеит домены и сделает HOST главным доменом и будет его показывать в выдаче...

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#2
espada:
Спрашивается - что бы это значило?

Не склеилос пока.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
Yeugeny
На сайте с 01.02.2008
Offline
42
Yeugeny
#3
espada:
Выкладываю на сайт robots.txt такого вида:

User-Agent: Yandex
Disallow: /find.php
Disallow: /detal.php
Host: www.czudovo.info

Проверяю этот robots на Яндекс.Вебмастер. Запрашиваю УРЛ без www и получаю ответ:

Результаты проверки URL
http://czudovo.info разрешен

Спрашивается - что бы это значило? Действует ли директива Host?

И для технического адреса, созданного автоматически в cpanel (ради неиндексации которого этот Host и нужен) - проверка тоже выдает лишь запрещающие правила, указанные в Disallow, а на Host никак не реагирует.

Соответственно вопрос, что делать, чтобы Яндекс проиндексировал сайт по правильному адресу, а не по техническому?

1. Можно избавиться от сеции для Яндекса, т.к. они отличаются только указанием для него директивы host и записать её в общую секцию. Если остальные роботы не поймут Host: www.czudovo.info, они просто проигнорируют эту директиву.

2. Поверхностный поиск по логам (больше 10 площадок) показал, что зеркальщик Яндекса за февраль-март побывал только на одной из них и то в феврале. Где-то на форуме видел посты о том, что сайты по году не клеились. То бишь, надежды на него маловато.

3. Т.к. не все роботы понимают host - в данном случае не вижу смысла его прописывать вообще (или Вы хотите что-то прятать только от Яндекса, а остальные пусть индексируют?). Наверное удобнее сделать 301 редирект в .htaccess: 

Options +FollowSymLinks

RewriteEngine on

RewriteCond %{HTTP_HOST} ^czudovo\.info

RewriteRule ^(.*)$ http://www.czudovo.info/$1 [R=permanent,L]

Для этого также можно настроить в CPanel перенаправление с шаблоном, чтобы пользователь, запросивший страницу без www был перенаправлен на ту же страницу, только с www.

4. Не совсем въехал, что такое "технический адрес"...

Добавлено: Если будете делать редирект - обязательно проверьте результат (лучше по логам), я не большой знаток, вполне мог ошибиться.

S3
На сайте с 03.03.2006
Offline
91
stroy30
#4

Yeugeny опередил. Согласен насчёт 301 редиректа.

Ссылки в статьях (https://goo.gl/fblE5U), ссылки в обзорах (https://goo.gl/nxca5z). Кэшбэк (ali6.ru). Партнерка (http://alicb.ru/wm) Aliexpress для вебмастеров.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий