Все вопросы по robots.txt

Подскажите пжлст)

Есть страница site.ru/apple/ - ее надо закрыть от индекса, но карточки товара site.ru/apple/iphone-6gb-black сделать доступными для робота как это сделать в роботс

Если не много карточек товара, то можно сделать примерно так:

User-agent: *

Аllow: /apple/iphone-6gb-black

Аllow: /apple/товар2

Аllow: /apple/товар3

Disallow: /apple/

Разрешаете отдельные файлы к индексации, а сам раздел закрываете.

Хотя может есть способы и полегче. Посмотрим что еще напишут.

Но карточек много

Вот так

Disallow: /apple

Allow: /apple/

слэш убить или 301 редирект

а например так?

Disallow: /apple/$

Allow: /apple/*

🤪

только проверять надо :)

Гугл проиндексировал не нужные страницы типа

site.com/03/blog-post.html?view=mosaic

site.com/2016/02/quinny-yezz.html?m=1

как запретить такие ссылки для индексирования?

Этого будет достаточно, чтобы в поиске были только site.com/2016/02/quinny-yezz.html без всяких ?m=1, ?view=mosaic и т.д.?

Disallow: /?

Disallow: /?

Добавьте эти параметры в Search Console в меню Сканирование - Параметры URL, и будет вам счастье. Там можете указать, чтобы гуглобот не сканировал такие страницы

Disallow: /?

Да, вы сами ответили на свой вопрос

Спасибо, буду наблюдать за индексацией. :)

Чего то мне не сообразить, но disallow: /? выглядит очень сомнительно. Обязательно проверьте в вебмастере, если будете использовать такую конструкцию. Мб закроет только get на главной... Короче, проверьте, сомнительно :)

Обычно закрывают сами параметры get-запроса типа:

Disallow: *order=*

Disallow: *asc=*

Disallow: *desc=*

Disallow: *pics=*

Disallow: *list=*

(пример дернул из викимарта)

З.Ы. еще можете просто disallow: ? попробовать.

Чего то туго соображаю после праздников :)