Бинг, ahrefs и mail.ru надо смело в блок сразу. Нереальное число запросов делают.
Читать какие-то ресурсы для создания проектов нет смысла - нужно анализировать выдачу и топы, потому что никто реальную информацию не даст, а если нет понимания как анализировать, то нет смысла что-то делать вообще. Да что там анализировать, многие просто искать не умеют в выдаче.
Если бы было все так просто :D
Юзер агенты никогда особо роли не играют, если стоит защита, то она будет на число запросов с ip реагировать, а в случае с Яндексом то защита еще по большему числу параметров. Самый оптимальный вариант или использовать xevil или парсить не Яндекс или Гугл, а тех кто их уже спарсил или просто другие поисковики, хотя везде защиты есть, но есть послабее.
Это было несколько лет назад.
Сами это придумали?
Какие разные посты на форуме - одни намекают, что можно не пережить, кто-то плачет как плохо малому бизнесу, а кто-то переживает что скоро сезон отпусков :D
Из социалок вообще-то люди ходят :D
Получается зря столько флудил.
А когда закончится вся эта ерунда, то сервера можно будет выкинуть.