Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Все вопросы по robots.txt - 2

1... 3132333435363738
Hitechrem
На сайте с 02.01.2018
Offline
76
Hitechrem
#371
Brat_Sergij #:

Запомните, идеальный robots для гугла выглядит таким образом:

User-agent: *

Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.

Гугл шарит.  А яндекс лезет во все щели как дурной, потом много ошибок 🤣

sir_genius
На сайте с 03.01.2006
Offline
144
sir_genius
#372
MisterStart #:

Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:

/news/hot/page2
/news/hot/page3
/news/hot/page4

которые содержат списки статей (новостей), разбитых на страницы.

А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку  вида: "Свежие новости. Страница 1",  "Свежие новости. Страница 2"..

Поделитесь опытом, что лучше?

Нормальный вариант: уникализировать title и decsription + (если это по вашей SEO стратегии) закрывать от индексации через <meta name="robots" content="noindex,follow">

❗️▶️ Тот, кто ищет миллионы, весьма редко их находит, но зато тот, кто их не ищет, - не находит никогда! Оноре де Бальзак
eleeen
На сайте с 01.10.2021
Offline
8
eleeen
#373

Стоит ли закрывать "поиск" на сайте?

User-agent: *

Crawl-delay: 2

Disallow: /editor/

Disallow: /ajax/

Disallow: /basket/

Disallow: /search/                                                     стоит ли его прописывать?


Host: https://medsfera.pro


Sitemap: https://medsfera.pro/?sitemap.xml

Виктор Петров
На сайте с 05.01.2020
Offline
240
Виктор Петров
#374
eleeen #:
Стоит ли закрывать "поиск" на сайте?

Безусловно: мусор в индексе однозначно не нужен. Служебные странички, пользовательский контент, непроработанные страницы тегов - всё это может быть проиндексировано, но будет неизбежно расценено как поисковый мусор. Вам придётся приложить некоторые усилия, чтобы деиндексировать это, и вы в любом случае потеряете часть ресурсов того же гуглобота, который будет тратить их на обход мусорных страниц. А эти ресурсы ограничены - и он может не дойти до важных для вас посадок.
Crawl-delay и Host также стоит удалить, это устаревшие и ненужные директивы.

https://t.me/seomagus
Яндекс отказался от учета Google: как ускорить удаление Как повлиять на скорость
N2
На сайте с 10.01.2025
Offline
8
Nada25
#375

Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?

Подскажите пожалуйста, что не так: 

User-Agent: YandexImages

Allow: /wp-content/uploads


User-Agent: Googlebot-Image

Allow: /wp-content/uploads


User-agent: Mediapartners-Google

Allow: /


User-agent: Twitterbot

Allow: /


User-Agent: YandexBot

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /feed/turbo/ 

Allow: /wp-content/uploads

Disallow: /category

Disallow: /attachment

Disallow: */page/

Disallow: */amp 

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /product

Disallow: /product/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *.css?ver=*

Crawl-delay: 20


User-Agent: *

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: *readme.txt

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /wp-content/uploads

Disallow: /attachment

Disallow: */page/

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *?ver=*

Crawl-delay: 20


Sitemap: https://мой сайт/sitemap.xml

Как вам такой robots.txt Как закрыть архивы индексация сайта
L1
На сайте с 04.12.2025
Offline
3
lucas12
#376
Nada25 #:

Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?

Подскажите пожалуйста, что не так: 

User-Agent: YandexImages

Allow: /wp-content/uploads


User-Agent: Googlebot-Image

Allow: /wp-content/uploads


User-agent: Mediapartners-Google

Allow: /


User-agent: Twitterbot

Allow: /


User-Agent: YandexBot

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /feed/turbo/ 

Allow: /wp-content/uploads

Disallow: /category

Disallow: /attachment

Disallow: */page/

Disallow: */amp 

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /product

Disallow: /product/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *.css?ver=*

Crawl-delay: 20


User-Agent: *

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: *readme.txt

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /wp-content/uploads

Disallow: /attachment

Disallow: */page/

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *?ver=*

Crawl-delay: 20


Sitemap: https://мой сайт/sitemap.xml

ответ ИИ
Ситуация очень похожа на **алгоритмическую санкцию** (фильтр), а не на техническую ошибку. Ответ поддержки «всё хорошо, просто позиции поменялись» — стандартная отписка, они редко признают фильтры вручную.

Давайте разберу ваш robots.txt — в нём есть **критическая ошибка**, которая могла убить весь трафик со страниц со списками.

### 1. Самая вероятная причина падения (90%)

Вы запретили индексацию **всех пагинированных страниц** для всех роботов, включая Яндекс и Google:

`Disallow: */page/`

Это означает, что если у вас есть страница:
`site.ru/spisok-tovarov/page/2/`
`site.ru/spisok-tovarov/page/3/`
— она **выпадает из индекса**.

**Как это убило топ 3?**
Поисковики любят длинные списки (каталоги, подборки). Если у вас было 30 страниц со списками (например, «Топ-100 товаров страница 1», «...страница 2»), то после запрета `*/page/` в индексе осталась только первая страница каждой рубрики. Все остальные 29 выпали. Отсюда резкое падение с 30 до 1 страницы в выдаче.

### 2. Другие опасные директивы в robots.txt

- **`Disallow: /category`** — вы запретили индексацию всех категорий. Если ваши списки лежали в `/category/...` — они все выпали.
- **`Disallow: /tag/`** — запрещены метки (тоже источник трафика по длинному хвосту).
- **`Disallow: /blog`** — если списки в блоге, они тоже под запретом.
- **`Disallow: /product`** — запрещены страницы товаров (если списки вели на товары, они не индексируются).

### 3. Что конкретно произошло?

Раньше поисковики могли игнорировать ваши запреты или робот не сразу их применил. После обновления алгоритмов они стали строже соблюдать `robots.txt`. В итоге:
- Из индекса убрали все `page/2`, `page/3` и т.д.
- Убрали все `category` и `tag`.
- В индексе остались только главные страницы рубрик.

**Проверьте сами:**  
Введите в Яндексе/Google: `site:вашсайт.ru /page/`  
Скорее всего, вы увидите «Ничего не найдено».

### 4. Что делать срочно?

1. **Удалите** строку `Disallow: */page/` для всех User-agent.
2. **Удалите** `Disallow: /category` и `Disallow: /tag` (если по ним был трафик).
3. **Проверьте `Disallow: /blog`** — если списки там, тоже уберите.
4. После правок дождитесь, когда робот перечитает robots.txt (1-2 дня).
5. **Переиндексация:** В Яндекс.Вебмастере → Индексирование → Переобход страниц — отправьте главную страницу и несколько старых страниц со списками.

### 5. Что еще проверить, если после правок не взлетит?

- **Мета-теги noindex** на страницах списков (вдруг их проставил SEO-плагин).
- **Канонические ссылки** (canonical) — не ведут ли с `/page/2/` на `/page/1/`?
- **Яндекс.Вебмастер** → Диагностика → Индексирование страниц — посмотрите причину исключения ваших страниц (там будет «Запрещено в robots.txt» или «Не индексируется по правилам»).

### Итог

**Не слушайте поддержку.** У вас жестко закрыта пагинация и категории. Робот выполняет ваши же правила и вырезал все глубокие страницы. Исправьте robots.txt — через 1-2 недели позиции начнут возвращаться (но не мгновенно).

Сделайте так для начала (упрощенный безопасный robots.txt):

```
User-Agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Crawl-delay: 2

User-Agent: Googlebot
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Crawl-delay: 2

User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /xmlrpc.php
```

А все тонкости с `*/page/` и категориями оставьте на совесть SEO-плагинов (Yoast/Rank Math) — они управляют этим через метатеги, а не через robots.txt.
robots.txt Индекс Yandexа или куда Гугл не слушается инструкций
1... 3132333435363738

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий