Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Много ботов на одну страницу Yandexbot, Yandexnews, Googlebot, ets

Amigo_9876
На сайте с 01.04.2009
Offline
328
Amigo_9876
260

В общем за сутки 4500 обращений к сайту от yandexbot и yandexnews и это только к rss ленте:

/index.php?option=com_rd_rss&id=5

Собственно половина из них - это редирект с http на https

В интерфейсе яндекс новостей на нашел как поменять ссылку на ленту. А просить поддержку не хочу. Так как сайт остался в яндекс новостях, несмотря на то что я не отсылал никаких документов о СМИ.

Остальные боты такой фигней не страдают, но заходят по старой памяти на версию http, хотя https уже больше месяца

GoogleBot - 1500

Semrush - 1000

В том числе на главную.


[09/Oct/2018:08:05:21 +0300] "GET /index.php?option=com_rd_rss&id=5 HTTP/1.0" 301 266 "-" "Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)"
[09/Oct/2018:08:05:22 +0300] "GET /index.php?option=com_rd_rss&id=5 HTTP/1.0" 200 19120 "-" "Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)"
[09/Oct/2018:08:05:41 +0300] "GET /index.php?option=com_rd_rss&id=5 HTTP/1.0" 301 266 "-" "Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)"
[09/Oct/2018:08:05:42 +0300] "GET /index.php?option=com_rd_rss&id=5 HTTP/1.0" 200 19120 "-" "Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)"

И создают повышенную нагрузку на сервер и БД.

Что бы вы сделали?

MA
На сайте с 06.05.2006
Offline
159
mik-a-el
#1
Amigo_9876:
Что бы вы сделали?

Проверил бы айпи, с которого они заходят.

S1
На сайте с 02.10.2016
Offline
138
sanek1991
#2
Amigo_9876:

И создают повышенную нагрузку на сервер и БД.
Что бы вы сделали?

Страницу можно закешировать. Тогда не работы не будут дергать БД

Постоянно обмениваюсь ссылками с качественными сайтами по теме электроника, электронные компоненты, и тд.
Amigo_9876
На сайте с 01.04.2009
Offline
328
Amigo_9876
#3
mik-a-el:
Проверил бы айпи, с которого они заходят.

В основном с трех IP яндексы заходят:

178.154.171.56

95.108.181.55

95.108.181.88

Вбил в поиск, пишет Yandex LLC

---------- Добавлено 10.10.2018 в 14:20 ----------

sanek1991:
Страницу можно закешировать. Тогда не работы не будут дергать БД

В том то и дело, что закеширована на 3600 секунд

-----------

Ага, значит не должны. Или нагрузка на бД не из-за этого.

Но все равно, нафига мне эти 5000 301-х редиректов в сутки.

Заходы с iframe toloka Платон Щукин заходит на Изменения в поисковой выдаче

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий