Все вопросы по robots.txt - 2

313
#191

Disallow: /admina/katalog/$

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
24
#192
Ingref:
Disallow: /admina/katalog/$

Спасибо

Тема закрыта

Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.
103
#193

Аllow: /katalog/tovar

Disallow: /katalog/

Продвигаю сайты ссылками (https://kwork.ru/user/minsky?ref=23382)
#194

Всем драсте. Создал тему, т.к. не нашел нужной инфы.

Есть такая задача закрыть все страницы ?page= в каталоге /reviews/ при этом оставить в индексе основную страницу /reviews.

Как это прописать в robots?

мб так?

User-agent: *

Disallow: /reviews*?page

Кто уже сталкивался, подскажите :)

552
#195

ТС, покажите примеры урл, которые хотите закрыть.

Если все page то

Disallow: *?page

Что то надо думать, что то надо менять. (/ru/forum/comment/15872549). (/ru/forum/comment/15833253). (/ru/forum/1005931)
#196
postavkin:
ТС, покажите примеры урл, которые хотите закрыть.
Если все page то
Disallow: *?page

Урла domain.com/reviews?page=2....?page=10

Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews

23
#197
DaZzay:
Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews

Disallow: /*?page=

Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=

Соответственно /reviews останется разрешённым.

А вообще, правильно так:

Disallow: /reviews?page=

Allow: /reviews$

Домены с моментальным оформлением: x6x.ru - 2260 руб. (https://www.reg.ru/domain/shop/lot/x6x.ru)
55
#198

Добрый день

Помогите правильно составить robots.txt для сайта на 2 х языках.

русская версия сайта доступна в 2 вариантах, и получаются дубли страниц.

site.ru/ru/...........

site.ru ...............

Как полностью запретить директорию ru/

Судя по всему этого не достаточно

Disallow: /ru/

Остается еще страница site.ru/ru в индексе как бы главная.

И гугл ее тоже загружает. Даже несмотря на то что на сайте есть редирект с директории /ru/, гугл скачивал все эти страницы пока не запретил в роботс.

Может здесь неправильно указаны альтернативы.

<link rel='canonical' href='https://trend-collection.com.ua'>

<link rel='alternate' hreflang='x-default' href='https://trend-collection.com.ua'>
<link rel='alternate' hreflang='ru' href='https://trend-collection.com.ua/ru'>
<link rel='alternate' hreflang='uk' href='https://trend-collection.com.ua/ua'>

Как запретить индексировать всю директорию ru???

173
#199
biluyx:
Как запретить индексировать всю директорию ru???

А если так?

Disallow: /ru

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
#200
voxia:
Disallow: /*?page=

Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=
Соответственно /reviews останется разрешённым.

А вообще, правильно так:

Disallow: /reviews?page=
Allow: /reviews$

Спасибо большое, попробуем.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий