Все вопросы по robots.txt - 2

Это индивидуальная ситуация, значит был такой файл, папка.

Поставить Disallow: /*? рекомендую alkostar

Всем привет!

Обязательно ли надо прописывать в роботсе user-agent отдельно для гугла и яндекса? Или же можно отбомбить через "*"?

Заранее спасибо за ответ!

Всем доброго времени суток коллеги! Так сказать достался по существу такой файл robots. На ваш взгляд он идеальный или в нём всё-таки есть то, что не нужно? Нужно Ваше профессиональное мнение коллеги:

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

Host: https://vash-domen.ru

User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Disallow:

User-Agent: YaDirectBot

Disallow:

Sitemap: https://vash-domen . ru/sitemap . xml

комментариии закрыл что бы поведенческие не влияли??🤣🤣

Это не мой роботс, тот, которым я пользуюсь более короче почти в 3-4 раза. Это из одного сео-курса)) ну вот такой вот он длиный чересчур. Мож и от строения шаблона зависит. Поэтому и спросил, может чего лишнего нарисовали. Хотя не скажешь тоже так, как сеошник довольно таки известен в кругах. Я просто не рекламу зашёл делать, а реально понять хочу - нужно ли именно таким образом его составлять и в чём преимущества?)

1. Ну вообще идеальный роботс - это тот, который написан под конкретный сайт, под конкретные нужды, т.к. у вас может быть еще масса категорий, которые возможно стоит закрыть от индексации, помимо перечисленных здесь. Это по всей видимости какой-то идеальный стандартный роботс для вордпресса представлен.

2. Не вижу смысла делить все по юзерагентам (раздувая тем самым файл), когда все директивы в них повторяются. Можно все скомпоновать в общие правила для всех юзерагентов.

3. Зачем закрывать сайт от бота яндекс-картинок и директа тоже непонятно, никогда не делал этого и никогда не ощущал в связи с этим проблем.

С 2012г вы не научились пользоваться BB-кодом

и читать хелпы.

Ну так выкладывайте и вашего подопытного, покажут вам чего не закрыто / закрыто зря.

Что один дурак, что второй его процитировал, нет идеального ни чего, ко всему нужно подстраиваться, есть только так сказать по умолчанию и заточненный под конкретный сайт. Смотрите сами, что закрыть, что открыть, кого куда перенаправить или просто направить. По мне так буквально всё на скан (не считая спец страниц и администрирования сайта), указать хост и карту, всё, большего не нужно в большинстве случаев, ну а поскольку руки как мы все уже знаем из ж у нас, значить ещё 100500 редиректов с на страницы. А в целом дефолт пойдёт если не нагадить в начале как это часто бывает.

Здравствуйте! Скажите пожалуйста, если домен на кириллице(.рф) при составлении robots.txt ссылка на сайт прописывается также кириллицей или сконвертированная через Punycode-конвертер?

1.

User-agent: *

Disallow:

Host: https://мойдомен.рф

2.

User-agent: *

Disallow:

Host: https://xn--d1acklchcc.xn--p1ai

Пожалуйста, подскажите. Первый или второй вариант верен?

P.S. Домен выбран для примера

всем доброго дня.

Сегодня обнаружил что на одном сайте robots.txt перестал работать а именно все что было открыто каким то чудом стало доступно для роботов.

Вот собственно сам файл https://stroy-vibor.ru/robots.txt

например папка test закрыта должна быть а яндекс говорил что открыта для индексации

а гугл пишет что все закрыто, что не так в моем robots.txt ?

буквально недавно яндекс тоже показывал что все закрыто, а сегодня увидел в вебмастере что все эти страницы и папки индексируются и офигел ))