Все вопросы по robots.txt

А так как я написал не правильно?

Есть такая штука - https://webmaster.yandex.ru/tools/server-response/ , там можно проверять код ответа страницы. Действуйте.

а разве еще кто-то обрабатывает, кроме Яндекса?

В robots.txt для робота Яндекса указано

Clean-Param: utm_source&utm_medium&utm_campaign

Clean-Param: openstat

Яндекс показывает, все нормально, Google пишет, что 2 ошибки, подскажите, что нужно исправить в Google.

Спасибо, с ув. Spektrof

А почему бы не написать так:

Disallow: /*?utm*

Google вообще не обрабатывает оператор Clean-Param:. Так как у вас 2 строки с этим параметром, то логично, что появляется оповещение о 2 ошибках.

Всем доброго времени суток.

Специалист хостинга Sprinthost и эксперт Справочного форума Google для Вебмастеров оба советуют мне изменить директиву host: site.ru на host: http://site.ru.

О проблеме долго рассказывать.

Пожалуйста, скажите только одно, насколько это корректно?

Если я не ошибаюсь, вот верные примеры:

host: www.site.ru

host: site.ru

host: https://site.ru

А вот чтобы host: http://site.ru впервые слышу.

Спасибо!

Дмитрий2017, Насколько я помню host: site.ru и host: http://site.ru всегда было одно и то же. И разницы какой из них делать не было. Возможно что гугл придумал в последнее время, но пока такой информации не встречал.

Правильно так:

---------- Добавлено 14.05.2017 в 01:19 ----------

Это не одно и тоже.

Так неправильно:

Нескромный вопрос, почему неправильно?)

Справка https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html#host

У меня старые сайты, которые еще с www в host прописан domen.ru (хотя видел где и www.domen.ru прописан был)

Сайты, которые перевел на httpS в host указываю полный url как собственно и в справке.

Проблем нет.