Яндекс бота теперь никак не остановить?

123 4
Mik Foxi
На сайте с 02.03.2011
Offline
1076
#11

Miha Kuzmin (KMY), в вебмастер не могу по идеологическим соображениям, буду и дальше банить 10% запросов :D

Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ + партнерка, до 40$ с продажи.
Оптимизайка
На сайте с 11.03.2012
Offline
396
#12

foxi, можете ограничить количество запросов в секунду, если в ТП яндекса писать и в вебмастере настраивать не хотите. Банить по % доле как-то не очень. Когда краулер яндекса увидит, что вы не вывозите такой поток, количество запросов должно снизиться. И вы создадите тему "как привлечь бота яндекса на сайт" :D

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
[Удален]
#13
foxi:
Miha Kuzmin (KMY), в вебмастер не могу по идеологическим соображениям

5$ чтоли жалко для нахождения специалиста?

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#14

Оптимизайка, так вы мне предложили тоже самое, я на пхп только 503 ошибку отдаю яндекс боты иногда.

---------- Добавлено 29.10.2018 в 18:44 ----------

Miha Kuzmin (KMY):
5$ чтоли жалко для нахождения специалиста?

специалиста, который будет вместо меня добавлять сайты в яндекс вебмастер? 🤣 У вас есть такой за 5$ ?

[Удален]
#15
foxi:
специалиста, который будет вместо меня добавлять сайты в яндекс вебмастер? У вас есть такой за 5$ ?

Что за бред. Который решит проблему.

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#16

Miha Kuzmin (KMY), проблема в том, что яндекс выкачивает в сутки в 5 раз больше страниц, чем их есть на сервере, причем не левых неучтенных страниц, а все как надо по списку реальных страниц, но ни мне ни яндексу по логике это не надо, и нужно как-то "сказать" яндексу, чтоб он не качал так активно. Какой мне специалист для этого нужен?

[Удален]
#17

foxi, у вас явно где-то баг или суперпопулярный сайт (во что не вериться).

Mik Foxi
На сайте с 02.03.2011
Offline
1076
#18

Miha Kuzmin (KMY), он популярен только у яндекс ботов :D

[Удален]
#19

foxi, ну значит баг. Иските, если не можете - к спецам в платный раздел. Ну или в вебмастерский нахаляву.

komdir
На сайте с 14.10.2009
Offline
430
#20
foxi:

header'ы Expires Last-Modified и даже Cache-Control установлены чтоб он не являлся сюда в ближайшие дней 10

а точнее? выложи что отдает сервер

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий