Все вопросы по robots.txt - 2

Hitechrem
На сайте с 02.01.2018
Offline
31
#371
Brat_Sergij #:

Запомните, идеальный robots для гугла выглядит таким образом:

User-agent: *

Всё, ничего большего! Об этом не раз говорил Мюллер: не надо закрывать страницы в роботсе, просто делайте их noindex. Робот должен перейти на страницу, чтобы понять что за она и прочитать директивы в ней.

Гугл шарит.  А яндекс лезет во все щели как дурной, потом много ошибок 🤣

sir_genius
На сайте с 03.01.2006
Offline
121
#372
MisterStart #:

Нужно ли закрывать от индексации страницы каталога на сайте? То есть страницы вида:

/news/hot/page2
/news/hot/page3
/news/hot/page4

которые содержат списки статей (новостей), разбитых на страницы.

А то Яндекс в Вебмастере недавно начал ругаться, что на таких страницах одинаковый title и description. Вот думаю, закрыть их совсем в robots.txt или добавить к ним добавку  вида: "Свежие новости. Страница 1",  "Свежие новости. Страница 2"..

Поделитесь опытом, что лучше?

Нормальный вариант: уникализировать title и decsription + (если это по вашей SEO стратегии) закрывать от индексации через <meta name="robots" content="noindex,follow">

❗️▶️ freethinker.ru (http://freethinker.ru/) Тот, кто ищет миллионы, весьма редко их находит, но зато тот, кто их не ищет, - не находит никогда! Оноре де Бальзак
eleeen
На сайте с 01.10.2021
Offline
4
#373

Стоит ли закрывать "поиск" на сайте?

User-agent: *

Crawl-delay: 2

Disallow: /editor/

Disallow: /ajax/

Disallow: /basket/

Disallow: /search/                                                     стоит ли его прописывать?


Host: https://medsfera.pro


Sitemap: https://medsfera.pro/?sitemap.xml

Виктор Петров
На сайте с 05.01.2020
Offline
214
#374
eleeen #:
Стоит ли закрывать "поиск" на сайте?

Безусловно: мусор в индексе однозначно не нужен. Служебные странички, пользовательский контент, непроработанные страницы тегов - всё это может быть проиндексировано, но будет неизбежно расценено как поисковый мусор. Вам придётся приложить некоторые усилия, чтобы деиндексировать это, и вы в любом случае потеряете часть ресурсов того же гуглобота, который будет тратить их на обход мусорных страниц. А эти ресурсы ограничены - и он может не дойти до важных для вас посадок.
Crawl-delay и Host также стоит удалить, это устаревшие и ненужные директивы.

SEO-аудиты для интернет-магазинов ( https://textarget.ru/seo-audit-sajta/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий