Все вопросы по robots.txt - 2

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#191

Disallow: /admina/katalog/$

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
E
На сайте с 05.07.2018
Offline
24
#192
Ingref:
Disallow: /admina/katalog/$

Спасибо

Тема закрыта

Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book.
minsky
На сайте с 01.09.2012
Offline
114
#193

Аllow: /katalog/tovar

Disallow: /katalog/

Продвигаю сайты ссылками (https://kwork.ru/user/minsky?ref=23382)
DZ
На сайте с 13.12.2017
Offline
7
#194

Всем драсте. Создал тему, т.к. не нашел нужной инфы.

Есть такая задача закрыть все страницы ?page= в каталоге /reviews/ при этом оставить в индексе основную страницу /reviews.

Как это прописать в robots?

мб так?

User-agent: *

Disallow: /reviews*?page

Кто уже сталкивался, подскажите :)

P
На сайте с 06.01.2009
Online
567
#195

ТС, покажите примеры урл, которые хотите закрыть.

Если все page то

Disallow: *?page

DZ
На сайте с 13.12.2017
Offline
7
#196
postavkin:
ТС, покажите примеры урл, которые хотите закрыть.
Если все page то
Disallow: *?page

Урла domain.com/reviews?page=2....?page=10

Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews

voxia
На сайте с 12.10.2016
Offline
23
#197
DaZzay:
Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews

Disallow: /*?page=

Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=

Соответственно /reviews останется разрешённым.

А вообще, правильно так:

Disallow: /reviews?page=

Allow: /reviews$

B
На сайте с 24.06.2011
Offline
74
#198

Добрый день

Помогите правильно составить robots.txt для сайта на 2 х языках.

русская версия сайта доступна в 2 вариантах, и получаются дубли страниц.

site.ru/ru/...........

site.ru ...............

Как полностью запретить директорию ru/

Судя по всему этого не достаточно

Disallow: /ru/

Остается еще страница site.ru/ru в индексе как бы главная.

И гугл ее тоже загружает. Даже несмотря на то что на сайте есть редирект с директории /ru/, гугл скачивал все эти страницы пока не запретил в роботс.

Может здесь неправильно указаны альтернативы.

<link rel='canonical' href='https://trend-collection.com.ua'>

<link rel='alternate' hreflang='x-default' href='https://trend-collection.com.ua'>
<link rel='alternate' hreflang='ru' href='https://trend-collection.com.ua/ru'>
<link rel='alternate' hreflang='uk' href='https://trend-collection.com.ua/ua'>

Как запретить индексировать всю директорию ru???

D.iK.iJ
На сайте с 26.05.2013
Offline
188
#199
biluyx:
Как запретить индексировать всю директорию ru???

А если так?

Disallow: /ru

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
DZ
На сайте с 13.12.2017
Offline
7
#200
voxia:
Disallow: /*?page=

Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=
Соответственно /reviews останется разрешённым.

А вообще, правильно так:

Disallow: /reviews?page=
Allow: /reviews$

Спасибо большое, попробуем.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий