Все вопросы по robots.txt - 2

Disallow: /admina/katalog/$

Спасибо

Тема закрыта

Аllow: /katalog/tovar

Disallow: /katalog/

Всем драсте. Создал тему, т.к. не нашел нужной инфы.

Есть такая задача закрыть все страницы ?page= в каталоге /reviews/ при этом оставить в индексе основную страницу /reviews.

Как это прописать в robots?

мб так?

User-agent: *

Disallow: /reviews*?page

Кто уже сталкивался, подскажите :)

ТС, покажите примеры урл, которые хотите закрыть.

Если все page то

Disallow: *?page

Урла domain.com/reviews?page=2....?page=10

Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews

Disallow: /*?page=

Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=

Соответственно /reviews останется разрешённым.

А вообще, правильно так:

Disallow: /reviews?page=

Allow: /reviews$

Добрый день

Помогите правильно составить robots.txt для сайта на 2 х языках.

русская версия сайта доступна в 2 вариантах, и получаются дубли страниц.

site.ru/ru/...........

site.ru ...............

Как полностью запретить директорию ru/

Судя по всему этого не достаточно

Disallow: /ru/

Остается еще страница site.ru/ru в индексе как бы главная.

И гугл ее тоже загружает. Даже несмотря на то что на сайте есть редирект с директории /ru/, гугл скачивал все эти страницы пока не запретил в роботс.

Может здесь неправильно указаны альтернативы.

<link rel='canonical' href='https://trend-collection.com.ua'>

<link rel='alternate' hreflang='x-default' href='https://trend-collection.com.ua'>

<link rel='alternate' hreflang='ru' href='https://trend-collection.com.ua/ru'>

<link rel='alternate' hreflang='uk' href='https://trend-collection.com.ua/ua'>

Как запретить индексировать всю директорию ru???

А если так?

Disallow: /ru

Спасибо большое, попробуем.