kentuss, этот форум, например, под Cloudflare.
Она точно выручает? Там странное описание:
---------- Добавлено 20.08.2016 в 23:41 ----------Мне напомнило это:
Чудо "поисковик" парсит гугл и даже на заморачивается с подменой урл картинок, вставляя прям с гугла: https://encrypted-tbn1.gstatic.com/images?q=tbn:ANd9GcT0WXj6u1wR3ilTL6RWmb3oBXakLCFCmJpstStfuuEhvDqdjdMIOjad2DA
Дурову не понравился новый дизайн:
https://tjournal.ru/32967-pavel-durov-vpervie-ozvuchil-svoyo-mnenie-o-redizaine-vkontakte
Так он специально seo-заголовок сделал - для тех клиентов, кто решит пользоваться ПС.
В логе все запросы на одну главную страницу / с редиректом.
1. Редирект нормально отрабатывает? Не сам на себя редиректит?
2. Такой запрос не должен грузить сервер.
3. В любом случае, правильно, что забанили majestic12 :)
Может проблема не в ботах? А сколько запросов в секунду они делают? Покажите непрерывный кусок лога.
Рекомендую третий вариант:
найти тех, кто хорошо разбирается в таргетированной рекламе (выберет нужную аудиторию для "ретаргетинга").
В заметке говорится: почему Google не использует данные Google Analytics для поисковых алгоритмов (не на всех сайтах стоит аналитикс).
Зато у многих пользователей стоит Гугл Хром :) ---------- Добавлено 15.08.2016 в 23:13 ---------- На порядки меньше покрытие "тулбаров" от SimilarWeb (pdf) - но этого хватает, для построения всех нужных отчетов.
Данные съема (10 первых позиций) есть в дополнительной статистике. По ним и пересчитывать.
