Все вопросы по robots.txt

Hammer8
На сайте с 04.08.2011
Offline
175
#961
Truelove:
Ну и самый главный вопрос как прописать в robots запрет на индексацию ссылок с "?"

Делается это просто Disallow: /*?*

Полный спектр услуг по продвижению сайтов ()
Т
На сайте с 05.03.2017
Offline
3
#962

User-agent: *

Disallow: *?*

Закроет все урлы с символом "?".

B4
На сайте с 13.04.2017
Offline
1
#963
Hammer8:
Делается это просто Disallow: /*?*

скорее так Disallow: /*?

T
На сайте с 25.03.2013
Offline
66
#964

Спасибо, а как могут вообще появиться такого типа УРЛ?

ildseo
На сайте с 09.03.2017
Offline
14
#965
Truelove:
Спасибо, а как могут вообще появиться такого типа УРЛ?

Урлы со знаком "?" обычно бывают с Get-параметром, могут появиться при пагинации страниц, фильтрах и т.д.

S
На сайте с 27.02.2017
Offline
15
#966

Добрый день!

Подскажите пожалуйста правильное расположение роботов в robots.txt

1) User-agent:Bingbot #роботы которым запрещен доступ (для каждого указать правило Disallow: /

Disallow: /

User-agent:Slurp

Disallow: /

.

.

2) User-agent: * # все остальные роботы правила

3) User-agent: GoogleBot # робот Google

4) User-agent: Yandex # робот Yandex

Sitemap: https://site.ru/sitemap.xml

Host:https://site.ru/

Если сайт работает на https (SSL подключен) правильно ли значения для sitemap и host ? Настроен редирект с http на https. Https считается основным.

Спасибо, с ув. Spektrof

M
На сайте с 18.05.2009
Offline
108
#967

Яндекс ругается на роботс.тхт, якобы используется недопустимый символ "!". Ок, а как тогда прописать директивы вида "Disallow: !xxx" ? Если "Disallow: *xxx", то под раздачу все попадет, что содержит "xxx" в урл. Как запретить именно папку !xxx, не трогая все остальное?

Не пойму, как используя только * и $ можно создавать подобные правила..

JJ
На сайте с 26.08.2016
Offline
30
J_J
#968

Disallow: /xxx/ попробуйте

M
На сайте с 13.07.2013
Offline
44
#969

Скорее, так: Disallow: /ххх

Hammer8
На сайте с 04.08.2011
Offline
175
#970

Или так: Disallow: /*ххх

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий