Аналогично. Пару раз попадался, за неделю ручные меры снимали.
Кнопку "Я всё исправил" жал или само прошло?
Disallow: /*?page=
Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=
Соответственно /reviews останется разрешённым.
А вообще, правильно так:
Disallow: /reviews?page=
Allow: /reviews$
И что, поисковые роботы приходят с referer?
Поди, тоже конторы под частных мастеров косят...
А просто юзеру, не из поиска, какой код отдавать? Для Яндекса или для Гугла?
Ресурсов у Яндекса не хватит.
Прилавок, который постоянно толкают с аукциона. Блестяще...
Я от ботов Яндекса в конфиге NGINX отбивался, отдавал 503 каждую 1, 1-2, 1-2-3 миллисекунды, в зависимости от остервенения Яндекса.
Плохо, что без зависимости от load average, но хорошо, что для расчётов PHP лишний раз не запускался, серверу полегше...
Привязать домен к заведомо корректному сайту/блогу/магазину, в разделе безопасности и нарушений нажать кнопку "я всё исправил".
отправляю запрос и в тексте пишу что купил домен с санкциями, новый владелец
Аналогично. Пару раз попадался, за неделю ручные меры снимали.
Метка через 2 мес ушла
Кнопку "Я всё исправил" жал или само прошло?
Я хочу закрыть все страницы ?page=2....?page=10 при этом оставить первую страницу каталога /reviews
Disallow: /*?page=
Робот не будет посещать любые страницы, в урл которых содержится фрагмент ?page=
Соответственно /reviews останется разрешённым.
А вообще, правильно так:
Disallow: /reviews?page=
Allow: /reviews$
Поисковые роботы и будут переходить
И что, поисковые роботы приходят с referer?
Поди, тоже конторы под частных мастеров косят...
яндексу и юзеру и яндекса один , гуглу и юзеру с гугла - другой
А просто юзеру, не из поиска, какой код отдавать? Для Яндекса или для Гугла?
поиск по картинкам идёт с помощью нейросетей
Ресурсов у Яндекса не хватит.
Хочешь толкать - товар, плати за аренду прилавка
Прилавок, который постоянно толкают с аукциона. Блестяще...
пока придумал такое решение сдерживания https://pastebin.com/YpBe1HAM
Я от ботов Яндекса в конфиге NGINX отбивался, отдавал 503 каждую 1, 1-2, 1-2-3 миллисекунды, в зависимости от остервенения Яндекса.
Плохо, что без зависимости от load average, но хорошо, что для расчётов PHP лишний раз не запускался, серверу полегше...
Как можно быстро снять эти бэд карму от Яндекса?
Привязать домен к заведомо корректному сайту/блогу/магазину, в разделе безопасности и нарушений нажать кнопку "я всё исправил".