Все вопросы по robots.txt

Disallow: /kms_portfolio+stat+numz-8.html

в принципе можно и так, только надо все страницы выбрать а их штук 100 если не больше ))

Если у них нет общего уникального параметра в URL, то с "+" или с "-" вам так или иначе это делать придется...

ну в принципе если вот так закрыть, тоже ругается но работает Disallow: *stat+numz*

спасибо что навели на мысль, посмотрим что из этого выйдет

Всем привет. Как правильно в файле robots.txt указать роботам ПС, не индексировать товары или подразделы находящиеся на определенной странице на сайте (в определенной папке)

К примеру..

1)

сайт.ру/перфораторы/хитачи/

в этой папке располагаются 20 различных карточек перфораторов различных модификаций и характеристик (перф1.хтмл, перф2.хтмл и т.д.)

2)сайт.ру/перфораторы/

в этой папке находятся различные бренды перфораторов, Хитачи, Макита, Бош и т.д. (т.е. разделы) (/перфораторы/хитачи, /перфораторы/макита/, /перфораторы/бош/

Как в роботс.тхт указать роботу, чтобы содержимое папок не индексировал (закрыть от индексации)

т.е. в 1м случае чтобы саму папку /хитачи/ индексировал, а то, что внутри (перф1.хтмл, перф2.хтмл и т.д.) не индексировал

а во втором случае папку /перфораторы/ индексировал, а внутренние бренды (/хитачи/, /макита/, /бош/) не индексировал.

Пару статей уже почитал о составлении роботса, но как реализовать мой случай я не нашел.

В голову пришло только такое (это запрет в случае первого примера)

Disallow:/перфораторы/хитачи/

или так

Disallow:/перфораторы/хитачи/*

или так

Disallow:/перфораторы/хитачи/*.*

Предполагаю, что 3й вариант вообще неправильный.

Если все неправильное, подскажите как?

Собственно, запретил к индексации в роботсе все страницы кроме главной, но второй месяц реакции на это - ноль. В индексе все страницы. Что не так?

Сам роботс:

User-agent: *

Disallow: /cart_items

Disallow: /product_by_id

Disallow: /auth

Disallow: /login

Disallow: /orders

Disallow: /client_account

Disallow: /admin

Disallow: /search

Disallow: /search_suggestions

Disallow: /bank_receipts

Disallow: /bank_ru_receipts

Disallow: /juridical_person_receipts

Disallow: /compares

Disallow: /captchas

Disallow: /*?theme_preview=*

User-agent: Yandex

Disallow: /collection/

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

проблема в вашем роботсе

Вам всего лишь надо было в роботсе прописать след:

User-agent: *

Disallow: /

Allow: /$

это правило закрывает весь сайт, кроме главной страницы.

для яндекса к индексации запрещен только раздел /collection/

10 символов

Спасибо! Интересовал вобщем-то только вопрос корректности роботса.

Что за бред ?

Там же директива запретить ВСЕМ роботам

Попробуй чекнуть закинув в аддурл любую страницу из запрещенных, она скажет - что страница закрыта от индексации, если все верно