Все вопросы по robots.txt

E
На сайте с 07.08.2009
Offline
131
#601
Maxim-KL:
Eltd, Получается что он самый тупой, для всех стандартного роботса хватает а яшке подавай отдельный))

так потому и огорчение что достался русским такой умный (((((

R
На сайте с 08.07.2008
Offline
74
#602
Maxim-KL:
Eltd, Получается что он самый тупой, для всех стандартного роботса хватает а яшке подавай отдельный))

Проясните, пожалуйста, тогда такой момент с гуглботом. Есть к примеру такие правила:

User-agent: *

Disallow: /temp

User-agent: Googlebot
Allow: /templates/css/

При проверке robots.txt в Search Console Гугла адрес mysite.ru/temp доступен.

Получается Гугл ложил на общие правила в User-agent: * если есть отдельно для него.

D
На сайте с 26.08.2013
Offline
22
#603

Здравствуйте!

Сайт e-co.ru

Как закрыть страницы от индексации, но оставить в индексе товары на этих страницах?

/catalog/01-dc-dc/?PAGEN_1=1

/catalog/01-dc-dc/?PAGEN_1=10

/catalog/01-dc-dc/?PAGEN_1=100

/catalog/01-dc-dc/?PAGEN_1=101

/catalog/01-dc-dc/?PAGEN_1=102

/catalog/01-dc-dc/?PAGEN_1=103

/catalog/01-dc-dc/?PAGEN_1=104

/catalog/01-dc-dc/?PAGEN_1=105

/catalog/01-dc-dc/?PAGEN_1=106

/catalog/01-dc-dc/?PAGEN_1=107

Заранее спасибо за ответ!

D
На сайте с 20.09.2010
Offline
175
#604

Подскажите как в роботсе запредить индексацию страниц вида:

http://site.com/число от 1 до 10/

тоесть:

http://site.com/234235/

http://site.com/222/

и т.д.

P
На сайте с 14.01.2013
Offline
22
#605
A4
На сайте с 24.08.2015
Offline
62
#606

Так как у вас в дублях присутствует ?, то достаточно добавить строку:

Disallow: /*?

bandesign
На сайте с 10.02.2010
Offline
94
#607

Пологаю что вот так

Disallow: /*currency=UAH*

Disallow: /*currency=USD*

Дизайн и изготовление рекламы (https://bandesign.ru)
DmitryDavydov
На сайте с 12.09.2015
Offline
62
#608

Всем привет! Настраиваю файл для Битркса, встроенный модуль рекомендует вот такое:

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Стоит ли оставлять эти части сайта для индексации?

Телега @d_tlg
murvuz
На сайте с 14.06.2007
Offline
191
#609
Alexeevi4:
Так как у вас в дублях присутствует ?, то достаточно добавить строку:
Disallow: /*?

Вы весь движок посмотрели, чтобы все с "?" закрыть?

Хотя такие движки чертовски напрягают. Зачастую очень недоработанные, которые пилить приходится.

---------- Добавлено 04.03.2016 в 13:59 ----------

bandesign:
Пологаю что вот так
Disallow: /*currency=UAH*
Disallow: /*currency=USD*

Много лишних телодвижений.

Disallow: /*currency

" А не спеть ли нам песню? О любвииии..."
chornobryvtsi
На сайте с 13.04.2013
Offline
98
#610

Всем привет. На этой ветке эта тема уже есть, но нет точного ответа. Таблицу стилей надо открывать для индексации? И как это правильно сделать?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий