Аналогично. Пару раз попадался, за неделю ручные меры снимали.
Кнопку "Я всё исправил" жал или само прошло?
Disallow: /*?page=
Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=
Соответственно /reviews останется разрешённым.
А вообще, правильно так:
Disallow: /reviews?page=
Allow: /reviews$
И что, поисковые роботы приходят с referer?
Поди, тоже конторы под частных мастеров косят...
А просто юзеру, не из поиска, какой код отдавать? Для Яндекса или для Гугла?
Ресурсов у Яндекса не хватит.
Прилавок, который постоянно толкают с аукциона. Блестяще...
Я от ботов Яндекса в конфиге NGINX отбивался, отдавал 503 каждую 1, 1-2, 1-2-3 миллисекунды, в зависимости от остервенения Яндекса.
Плохо, что без зависимости от load average, но хорошо, что для расчётов PHP лишний раз не запускался, серверу полегше...
Привязать домен к заведомо корректному сайту/блогу/магазину, в разделе безопасности и нарушений нажать кнопку "я всё исправил".
