Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Ограничение индексации сайта

R1
На сайте с 12.01.2018
Offline
8
ruslan1313
677

Здравствуйте

Есть сайт с большим количеством материала. Большая часть из них - архив.

Поисковые боты сильно грузят сервер.

Возможно ли отключить от индексации часть материалов (архив), которые уже все равно давно проиндексированы, но чтобы в поисковиках они выдавались?

Какой ответ давать боту?

rask
На сайте с 30.12.2010
Offline
69
rask
#1

Как это, отключить от индексации, но чтобы были в поиске? Не противоречие ли? :)

Есть метатег какой-то, указывающий роботу как часто обновлять страницу. Я точно не помню как именно он работает. Гугли в общем.

Аудиты: краткий - от 0 р., детальный - от 4500 р.; Подбор ключевых фраз с группировкой - 60 коп./фраза; Продвижение сайта - от 9000 р./мес.
FS
На сайте с 08.03.2011
Offline
91
Fish_su
#2
ruslan1313:
Здравствуйте
Есть сайт с большим количеством материала. Большая часть из них - архив.
Поисковые боты сильно грузят сервер.
Возможно ли отключить от индексации часть материалов (архив), которые уже все равно давно проиндексированы, но чтобы в поисковиках они выдавались?
Какой ответ давать боту?

Чтобы поисковые роботы не перегружали сервер есть специальный параметр crawl-delay используемый в robots.txt, он позволяет задать поисковому роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей. Подробнее: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html#crawl-delay

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий