Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Все вопросы по robots.txt - 2

1... 3132333435363738
Hitechrem
На сайте с 02.01.2018
Offline
78
Hitechrem
#371
Brat_Sergij #:

Запомните, идеальный robots для гугла выглядит таким образом:

User-agent: *

Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.

Гугл шарит.  А яндекс лезет во все щели как дурной, потом много ошибок 🤣

sir_genius
На сайте с 03.01.2006
Offline
144
sir_genius
#372
MisterStart #:

Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:

/news/hot/page2
/news/hot/page3
/news/hot/page4

которые содержат списки статей (новостей), разбитых на страницы.

А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку  вида: "Свежие новости. Страница 1",  "Свежие новости. Страница 2"..

Поделитесь опытом, что лучше?

Нормальный вариант: уникализировать title и decsription + (если это по вашей SEO стратегии) закрывать от индексации через <meta name="robots" content="noindex,follow">

❗️▶️ Тот, кто ищет миллионы, весьма редко их находит, но зато тот, кто их не ищет, - не находит никогда! Оноре де Бальзак
eleeen
На сайте с 01.10.2021
Offline
8
eleeen
#373

Стоит ли закрывать "поиск" на сайте?

User-agent: *

Crawl-delay: 2

Disallow: /editor/

Disallow: /ajax/

Disallow: /basket/

Disallow: /search/                                                     стоит ли его прописывать?


Host: https://medsfera.pro


Sitemap: https://medsfera.pro/?sitemap.xml

Виктор Петров
На сайте с 05.01.2020
Offline
240
Виктор Петров
#374
eleeen #:
Стоит ли закрывать "поиск" на сайте?

Безусловно: мусор в индексе однозначно не нужен. Служебные странички, пользовательский контент, непроработанные страницы тегов - всё это может быть проиндексировано, но будет неизбежно расценено как поисковый мусор. Вам придётся приложить некоторые усилия, чтобы деиндексировать это, и вы в любом случае потеряете часть ресурсов того же гуглобота, который будет тратить их на обход мусорных страниц. А эти ресурсы ограничены - и он может не дойти до важных для вас посадок.
Crawl-delay и Host также стоит удалить, это устаревшие и ненужные директивы.

https://t.me/seomagus
Яндекс отказался от учета Google: как ускорить удаление Как повлиять на скорость
N2
На сайте с 10.01.2025
Offline
8
Nada25
#375

Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?

Подскажите пожалуйста, что не так: 

User-Agent: YandexImages

Allow: /wp-content/uploads


User-Agent: Googlebot-Image

Allow: /wp-content/uploads


User-agent: Mediapartners-Google

Allow: /


User-agent: Twitterbot

Allow: /


User-Agent: YandexBot

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /feed/turbo/ 

Allow: /wp-content/uploads

Disallow: /category

Disallow: /attachment

Disallow: */page/

Disallow: */amp 

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /product

Disallow: /product/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *.css?ver=*

Crawl-delay: 20


User-Agent: *

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: *readme.txt

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /wp-content/uploads

Disallow: /attachment

Disallow: */page/

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *?ver=*

Crawl-delay: 20


Sitemap: https://мой сайт/sitemap.xml

Как вам такой robots.txt Как закрыть архивы индексация сайта
L1
На сайте с 04.12.2025
Offline
4
lucas12
#376
Nada25 #:

Сайт резко упал, не знаю почему, ищу причины. Раньше в топ 3 вебмастер было более 30 страниц со списками, теперь 1. Дублей нет в вебмастере. Им писала, говорят нет на сайте фильтров, все хорошо просто позиции поменялись. Но у них всегда ответы не о чем. Так резко?

Подскажите пожалуйста, что не так: 

User-Agent: YandexImages

Allow: /wp-content/uploads


User-Agent: Googlebot-Image

Allow: /wp-content/uploads


User-agent: Mediapartners-Google

Allow: /


User-agent: Twitterbot

Allow: /


User-Agent: YandexBot

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /feed/turbo/ 

Allow: /wp-content/uploads

Disallow: /category

Disallow: /attachment

Disallow: */page/

Disallow: */amp 

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /product

Disallow: /product/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *.css?ver=*

Crawl-delay: 20


User-Agent: *

Disallow: /cgi-bin

Disallow: /xmlrpc.php

Disallow: /author

Disallow: *readme.txt

Disallow: /blog

Disallow: /wp-json

Disallow: /wp-login.php

Disallow: */feed*

Allow: /wp-content/uploads

Disallow: /attachment

Disallow: */page/

Disallow: /korzina/

Disallow: /korzina

Disallow: /comments/

Disallow: /comments

Disallow: */comments

Disallow: /tag/

Disallow: /search/

Disallow: /users/

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Allow: *?ver=*

Crawl-delay: 20


Sitemap: https://мой сайт/sitemap.xml

ответ ИИ
Ситуация очень похожа на **алгоритмическую санкцию** (фильтр), а не на техническую ошибку. Ответ поддержки «всё хорошо, просто позиции поменялись» — стандартная отписка, они редко признают фильтры вручную.

Давайте разберу ваш robots.txt — в нём есть **критическая ошибка**, которая могла убить весь трафик со страниц со списками.

### 1. Самая вероятная причина падения (90%)

Вы запретили индексацию **всех пагинированных страниц** для всех роботов, включая Яндекс и Google:

`Disallow: */page/`

Это означает, что если у вас есть страница:
`site.ru/spisok-tovarov/page/2/`
`site.ru/spisok-tovarov/page/3/`
— она **выпадает из индекса**.

**Как это убило топ 3?**
Поисковики любят длинные списки (каталоги, подборки). Если у вас было 30 страниц со списками (например, «Топ-100 товаров страница 1», «...страница 2»), то после запрета `*/page/` в индексе осталась только первая страница каждой рубрики. Все остальные 29 выпали. Отсюда резкое падение с 30 до 1 страницы в выдаче.

### 2. Другие опасные директивы в robots.txt

- **`Disallow: /category`** — вы запретили индексацию всех категорий. Если ваши списки лежали в `/category/...` — они все выпали.
- **`Disallow: /tag/`** — запрещены метки (тоже источник трафика по длинному хвосту).
- **`Disallow: /blog`** — если списки в блоге, они тоже под запретом.
- **`Disallow: /product`** — запрещены страницы товаров (если списки вели на товары, они не индексируются).

### 3. Что конкретно произошло?

Раньше поисковики могли игнорировать ваши запреты или робот не сразу их применил. После обновления алгоритмов они стали строже соблюдать `robots.txt`. В итоге:
- Из индекса убрали все `page/2`, `page/3` и т.д.
- Убрали все `category` и `tag`.
- В индексе остались только главные страницы рубрик.

**Проверьте сами:**  
Введите в Яндексе/Google: `site:вашсайт.ru /page/`  
Скорее всего, вы увидите «Ничего не найдено».

### 4. Что делать срочно?

1. **Удалите** строку `Disallow: */page/` для всех User-agent.
2. **Удалите** `Disallow: /category` и `Disallow: /tag` (если по ним был трафик).
3. **Проверьте `Disallow: /blog`** — если списки там, тоже уберите.
4. После правок дождитесь, когда робот перечитает robots.txt (1-2 дня).
5. **Переиндексация:** В Яндекс.Вебмастере → Индексирование → Переобход страниц — отправьте главную страницу и несколько старых страниц со списками.

### 5. Что еще проверить, если после правок не взлетит?

- **Мета-теги noindex** на страницах списков (вдруг их проставил SEO-плагин).
- **Канонические ссылки** (canonical) — не ведут ли с `/page/2/` на `/page/1/`?
- **Яндекс.Вебмастер** → Диагностика → Индексирование страниц — посмотрите причину исключения ваших страниц (там будет «Запрещено в robots.txt» или «Не индексируется по правилам»).

### Итог

**Не слушайте поддержку.** У вас жестко закрыта пагинация и категории. Робот выполняет ваши же правила и вырезал все глубокие страницы. Исправьте robots.txt — через 1-2 недели позиции начнут возвращаться (но не мгновенно).

Сделайте так для начала (упрощенный безопасный robots.txt):

```
User-Agent: Yandex
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Crawl-delay: 2

User-Agent: Googlebot
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Crawl-delay: 2

User-Agent: *
Allow: /wp-content/uploads
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /xmlrpc.php
```

А все тонкости с `*/page/` и категориями оставьте на совесть SEO-плагинов (Yoast/Rank Math) — они управляют этим через метатеги, а не через robots.txt.
robots.txt Индекс Yandexа или куда Гугл не слушается инструкций
pretomhasib5q
На сайте с 04.06.2026
Offline
0
pretomhasib5q
#377

Looking for a real job or reliable staff? Discover the many options on HumbleSkill.work and achieve success faster! Platforms where you spend money on promotion often generate fake traffic. Unlike them, we've prepared some very lucrative bonuses for you.

Sharingmatrix файло-на-деньги обменник - Новая версия партнерки ComFi Перевод текстов на английский,
1... 3132333435363738

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий