Все вопросы по robots.txt

User-Agent: *
Disallow: /*index.html
Host: site.ru

Сайт состоит из файлов

site.ru/str1/index.html

site.ru/str2/index.html и т.д.

Но структура ссылок другая - без index.html:

site.ru/str1/

site.ru/str2/ и т.д.

Получается, что есть дубли? Конструкцией выше, я смогу сделать, чтобы индексировались ссылки, вида site.ru/str1/, а все index.html ПС игнорировали?

И Хостс указывает главное зеркало, то есть www.site.ru не будет индексироваться, правильно?

Друзья, как же закрыть страницы с брендами, вида:

http://granbazar.ru/brand/gastrotop/

http://granbazar.ru/brand/tork/

http://granbazar.ru/brand/fama/

Disallow: *?brand - не сработало, яндекс показывает что доступ открыт

При этом есть друге страницы с брендами, вида:

http://granbazar.ru/catalog/oborudovanie/posudomoechnye-mashiny/konveyernye-posudomoechnye-mashiny/brand-elframo/ - их нужно оставить доступными к индексации.

Подскажите, пожалуйста

Знак вопроса лишний. Нужно так:

Disallow: /brand*

День добрый! Настроил файл роботс и хотел удостоверится, что все правильно)

User-Agent: *

Disallow: /

Sitemap: http://сайт.ru/sitemap.xml

Host: https://сайт.ru

Disallow: */index.php

Disallow: /bitrix/

Disallow: /*show_include_exec_time=

Disallow: /*show_page_exec_time=

Disallow: /*show_sql_stat=

Disallow: /*bitrix_include_areas=

Disallow: /*clear_cache=

Disallow: /*clear_cache_session=

Disallow: /*ADD_TO_COMPARE_LIST

Disallow: /*ORDER_BY

Disallow: /*PAGEN

Disallow: /*?print=

Disallow: /*&print=

Disallow: /*print_course=

Disallow: /*?action=

Disallow: /*&action=

Disallow: /*register=

Disallow: /*forgot_password=

Disallow: /*change_password=

Disallow: /*login=

Disallow: /*logout=

Disallow: /*auth=

Disallow: /*backurl=

Disallow: /*back_url=

Disallow: /*BACKURL=

Disallow: /*BACK_URL=

Disallow: /*back_url_admin=

Disallow: /*?utm_source=

Allow: /bitrix/components/

Allow: /bitrix/cache/

Allow: /bitrix/js/

Allow: /bitrix/templates/

Allow: /bitrix/panel/

Crawl-delay: 2

Disallow: / поставил, так как сайт еще допилиивается)

здесь такие все телепаты чтобы определять что за сайт и что на нем нужно закрывать и для чего правильно

меня больше всего интересуют вот эти пункты:

User-Agent: * - Открыт для всех ботов

Disallow: / - Сейчас закрывает весь сайт, потом просто удалю эту строчку и сайт начнет индексироваться? или нужно поменять на Follow?

Host: https://сайт.ru - Главное зеркало

Crawl-delay: 2 - Нормальная цифра или по больше поставить?

Благодарю:)

Не могу найти решение как закрыть урл в robots.txt если в урле присутствуют плюсы вот пример:

Есть 2 страницы дублирующие друг друга

Нормальная страница

moi-ste .ru/kms_portfolio+stat+page-1+numz-8.html

страница которую надо закрыть

moi-ste .ru/kms_portfolio+stat+numz-8.html

Уже все перерыл не могу найти решение.

А есть страницы, содержащие слово "page", которые должны проиндексироваться? Если нет - то можете закрыть через Disallow: *page*, но, по-хорошему, вам надо избавиться от этих символов в урлах, а то в любой момент ПС может глюкануть и перестать их поддерживать.

P.S. Перепутал страницы. В вашем случае надо хорошенько подумать, но лучше - избавиться от этих символов.

По идее, при проверке ваших страниц в я.вм, он нормально отображает открытые и закрытые, но выдаёт предупреждение на плюс. Теоретически, можно построить конструкцию:

Disallow: /

Allow: *page*

Но это опасно, нужно смотреть на все урлы на сайте.

Да есть такие страницы которые содержат page и много в других разделах/

Есть код в .htaccess

менял на символы - и другие, ничего не вышло

Вот нашел у разработчика цмс http://kmstudio.ru/kms_chavo+index.html

но тут только можно переключить чпу и не чпу

Проверялка хоть и ругается на недопустимый символ, но страницу распознает как запрещенную.

Так и запрещайте

Disallow: /kms_portfolio+stat+numz-8.html

Потом понаблюдаете, скорее всего благополучно выпадет...