Какой robots.txt более валидный?

xaxel3000
На сайте с 23.07.2011
Offline
97
872

Вот мой robots.txt

User-agent: *

Disallow: /mijireh-secure-checkout/

Disallow: /cart/

User-agent: Yandex

Disallow: /mijireh-secure-checkout/

Disallow: /cart/

Host: luckyknife.ru/

а вот компании, которая недавно провела сео-аудит сайта и указала, что robots.txt должен быть таким:

User-agent: *

Disallow: /mijireh-secure-checkout/

Disallow: /cart/

Host: luckyknife.ru

Вопрос прост: кто прав?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1

Вы, т.к. для google директива host - неправильная.

А что за SEO-компания?

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
project33
На сайте с 30.04.2011
Offline
94
#2

гугл host игнорирует и за ошибку не считает, так что нет смысла из-за этой директивы делать отдельный раздел

xaxel3000
На сайте с 23.07.2011
Offline
97
#3
Оптимизайка:
Вы, т.к. для google директива host - неправильная.

А что за SEO-компания?

Регион Медиа в Краснодаре.

---------- Добавлено 28.09.2014 в 16:49 ----------

То что я для бота Яндекса прописываю отдельно правила, это правильно? Или уже времена изменились, и можно писать сразу для всех как написала данная SEO - компания?

Sevbanchik
На сайте с 06.09.2011
Offline
105
#4

Это у вас сейчас 2 раздела сайта запрещены к индексированию, а если бы их было 100? Тоже делать для каждого робота отдельно из-за одного Host?

Гугл просто не обращает внимания на эту запись и все.

Как кому, а мне нравится думать
xaxel3000
На сайте с 23.07.2011
Offline
97
#5
Sevbanchik:
Это у вас сейчас 2 раздела сайта запрещены к индексированию, а если бы их было 100? Тоже делать для каждого робота отдельно из-за одного Host?
Гугл просто не обращает внимания на эту запись и все.

На какую запись не обращает внимания Гугл? Я не понял ваш ответ.

Логистик
На сайте с 31.12.2008
Offline
191
#6
xaxel3000:
На какую запись не обращает внимания Гугл? Я не понял ваш ответ.

Host: luckyknife.ru

Создание сайтов на заказ - http://htmlplus.ru || Конструктор адаптивных сайтов Wysiwyg Web Builder - обучение, уроки, консультации - http://wwbmaster.ru || Настройка ЭЦП || Настройка корпоративной почты
Оптимизайка
На сайте с 11.03.2012
Offline
396
#7

Для яндекса вы потом еще "Clean-Param: orderby" захотите прописать, наверное.

Странно, что SEO-компания не обратила внимание на то, что в robots.txt остутствует sitemap и не закрыты от индексации обычные для wordpress URL'ы, типа http://luckyknife.ru/feed/, несуществующие URL'ы типа http://luckyknife.ru/about/?nonsense и пр.

В директиве Host должен быть домен, т.е. без "/" в конце, ежели что.

project33
На сайте с 30.04.2011
Offline
94
#8
Оптимизайка:
В директиве Host должен быть домен, т.е. без "/" в конце, ежели что.
xaxel3000:
а вот компании, которая недавно провела сео-аудит сайта и указала, что robots.txt должен быть таким:
User-agent: *
Disallow: /mijireh-secure-checkout/
Disallow: /cart/
Host: luckyknife.ru

seo компания сделала как раз корректно ежели че ;)

xaxel3000
На сайте с 23.07.2011
Offline
97
#9
Оптимизайка:
Для яндекса вы потом еще "Clean-Param: orderby" захотите прописать, наверное.

Странно, что SEO-компания не обратила внимание на то, что в robots.txt остутствует sitemap и не закрыты от индексации обычные для wordpress URL'ы, типа http://luckyknife.ru/feed/, несуществующие URL'ы типа http://luckyknife.ru/about/?nonsense и пр.

В директиве Host должен быть домен, т.е. без "/" в конце, ежели что.

Просто а тот момент sitemap был не готов и они об этом знали.

С HOST мне понятно, его нужно прописывать без "/" в конце. А для Яндекса , как в моем варианте, нужно правила отдельно писать, или придерживаться шаблона как написала SEO-компания. Народ отвечает загадками, спасибо конечно, что вообще отвечают, но я тупой и мне не совсем понятно)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий