Все вопросы по robots.txt - 2

Hammer8
На сайте с 04.08.2011
Offline
157
#61
Artimon:
что эта директива закрывала путь к файлу вида - /gfg?js

Это индивидуальная ситуация, значит был такой файл, папка.

Поставить Disallow: /*? рекомендую alkostar

Полный спектр услуг по продвижению сайтов (/ru/forum/959217)
A
На сайте с 18.03.2013
Offline
72
#62

Всем привет!

Обязательно ли надо прописывать в роботсе user-agent отдельно для гугла и яндекса? Или же можно отбомбить через "*"?

Заранее спасибо за ответ!

Арамис
На сайте с 28.07.2012
Offline
122
#63

Всем доброго времени суток коллеги! Так сказать достался по существу такой файл robots. На ваш взгляд он идеальный или в нём всё-таки есть то, что не нужно? Нужно Ваше профессиональное мнение коллеги:

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

Host: https://vash-domen.ru

User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Disallow:

User-Agent: YaDirectBot

Disallow:

Sitemap: https://vash-domen . ru/sitemap . xml

Официальный партнёр XRUMER (http://www.botmasterru.com/product87984/)
E1
На сайте с 09.05.2017
Offline
44
#64
Арамис:
Всем доброго времени суток коллеги! Так сказать достался по существу такой файл robots. На ваш взгляд он идеальный или в нём всё-таки есть то, что не нужно? Нужно Ваше профессиональное мнение коллеги:

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

Host: https://vash-domen.ru

User-agent: Googlebot

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Mail.Ru

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Allow: /wp-includes/js/*

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /?s=*

Disallow: */trackback/

Disallow: */feed

Disallow: */comments/

Disallow: */comment

Disallow: */attachment/*

Disallow: */print/

Disallow: *?print=*

Disallow: */embed*

Allow: /wp-content/uploads/

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

User-agent: YandexImages

Allow: /wp-content/uploads/

User-agent: Mediapartners-Google

Disallow:

User-Agent: YaDirectBot

Disallow:

Sitemap: https://vash-domen . ru/sitemap . xml

комментариии закрыл что бы поведенческие не влияли??🤣🤣

Кто мне ставит "-" можете запаять свою злость в целлофан и убрать ее на Колымский курок)) Про Курок нагуглите)
Арамис
На сайте с 28.07.2012
Offline
122
#65
Elvis123:
комментариии закрыл что бы поведенческие не влияли??🤣🤣

Это не мой роботс, тот, которым я пользуюсь более короче почти в 3-4 раза. Это из одного сео-курса)) ну вот такой вот он длиный чересчур. Мож и от строения шаблона зависит. Поэтому и спросил, может чего лишнего нарисовали. Хотя не скажешь тоже так, как сеошник довольно таки известен в кругах. Я просто не рекламу зашёл делать, а реально понять хочу - нужно ли именно таким образом его составлять и в чём преимущества?)

FS
На сайте с 08.03.2011
Offline
91
#66

1. Ну вообще идеальный роботс - это тот, который написан под конкретный сайт, под конкретные нужды, т.к. у вас может быть еще масса категорий, которые возможно стоит закрыть от индексации, помимо перечисленных здесь. Это по всей видимости какой-то идеальный стандартный роботс для вордпресса представлен.

2. Не вижу смысла делить все по юзерагентам (раздувая тем самым файл), когда все директивы в них повторяются. Можно все скомпоновать в общие правила для всех юзерагентов.

3. Зачем закрывать сайт от бота яндекс-картинок и директа тоже непонятно, никогда не делал этого и никогда не ощущал в связи с этим проблем.

богоносец
На сайте с 30.01.2007
Offline
709
#67
Арамис:
Это не мой роботс, тот, которым я пользуюсь более короче почти в 3-4 раза. Это из одного сео-курса)) ну вот такой вот он длиный чересчур. Мож и от строения шаблона зависит. Поэтому и спросил, может чего лишнего нарисовали. Хотя не скажешь тоже так, как сеошник довольно таки известен в кругах. Я просто не рекламу зашёл делать, а реально понять хочу - нужно ли именно таким образом его составлять и в чём преимущества?)

С 2012г вы не научились пользоваться BB-кодом


и читать хелпы.
Ну так выкладывайте и вашего подопытного, покажут вам чего не закрыто / закрыто зря.
maxvel0007
На сайте с 26.10.2014
Offline
67
#68

Что один дурак, что второй его процитировал, нет идеального ни чего, ко всему нужно подстраиваться, есть только так сказать по умолчанию и заточненный под конкретный сайт. Смотрите сами, что закрыть, что открыть, кого куда перенаправить или просто направить. По мне так буквально всё на скан (не считая спец страниц и администрирования сайта), указать хост и карту, всё, большего не нужно в большинстве случаев, ну а поскольку руки как мы все уже знаем из ж у нас, значить ещё 100500 редиректов с на страницы. А в целом дефолт пойдёт если не нагадить в начале как это часто бывает.

Жизнь как игра, графика хорошая, а сюжет не очень.
K
На сайте с 16.12.2015
Offline
38
#69

Здравствуйте! Скажите пожалуйста, если домен на кириллице(.рф) при составлении robots.txt ссылка на сайт прописывается также кириллицей или сконвертированная через Punycode-конвертер?

1.

User-agent: *

Disallow:

Host: https://мойдомен.рф

2.

User-agent: *

Disallow:

Host: https://xn--d1acklchcc.xn--p1ai

Пожалуйста, подскажите. Первый или второй вариант верен?

P.S. Домен выбран для примера

kazakdona
На сайте с 05.03.2007
Offline
117
#70

всем доброго дня.

Сегодня обнаружил что на одном сайте robots.txt перестал работать а именно все что было открыто каким то чудом стало доступно для роботов.

Вот собственно сам файл https://stroy-vibor.ru/robots.txt

например папка test закрыта должна быть а яндекс говорил что открыта для индексации

а гугл пишет что все закрыто, что не так в моем robots.txt ?

буквально недавно яндекс тоже показывал что все закрыто, а сегодня увидел в вебмастере что все эти страницы и папки индексируются и офигел ))

Казачий стан - все о казачестве. ( https://kazakdona.ru )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий