-= Serafim =-

Рейтинг
1357
Регистрация
10.12.2006
.
foxi:
Потому что именно боты в большинстве случаев грузят сервер. Когда проблема: "у меня вордпресс тормозит, хостер с сервера гонит, а у меня всего 10 человек в день" - проблема часто в том, что такие псевдо-поисковики, ахрефсы, маджестики и прочая не нужная сайту срань делает большинство запросов, создавая нагрузку.

Бинг, ahrefs и mail.ru надо смело в блок сразу. Нереальное число запросов делают.

Читать какие-то ресурсы для создания проектов нет смысла - нужно анализировать выдачу и топы, потому что никто реальную информацию не даст, а если нет понимания как анализировать, то нет смысла что-то делать вообще. Да что там анализировать, многие просто искать не умеют в выдаче.

Dram:
Купил IPV6 прокси и пошло дело... 100 р не те деньги...

Если бы было все так просто :D

Dram:
Капчу поймал очень быстро... :( Даже меняя юзер агент на каждый запрос.

---------- Добавлено 04.04.2020 в 14:23 ----------

Нельзя ли использовать xml лимиты для этого?

Юзер агенты никогда особо роли не играют, если стоит защита, то она будет на число запросов с ip реагировать, а в случае с Яндексом то защита еще по большему числу параметров. Самый оптимальный вариант или использовать xevil или парсить не Яндекс или Гугл, а тех кто их уже спарсил или просто другие поисковики, хотя везде защиты есть, но есть послабее.

xtrail:
про то, что бесплатный тариф не подходит для рф? -Нет. Попадаются ип заблокированные в ркн
---
Нашел, что можно отключить проксирование, тогда на ип всеравно

Это было несколько лет назад.

xtrail:
как вариант cloudflare, но бесплатный тариф для посетителей из РФ не подходит

Сами это придумали?

SiriuS:
А следом лето, сезон отпусков!

Какие разные посты на форуме - одни намекают, что можно не пережить, кто-то плачет как плохо малому бизнесу, а кто-то переживает что скоро сезон отпусков :D

denis-vlad:
А зачем вам бото-трафик на сайт? Думаете будет какая-то польза? Не думаю, что там переходы от людей.

Из социалок вообще-то люди ходят :D

Получается зря столько флудил.

KrutE:
В связи с переходом образовательных учреждений на онлайн, на конференц-платформах сейчас бум трафика, думаю, не успевают серверами закупаться

А когда закончится вся эта ерунда, то сервера можно будет выкинуть.

Всего: 27705