Запретить сканирование как ?

JJwar · 2026-02-13T14:19:35.0000000Z

Добрый день. Сайт https://starvell.com/ С сайтом такая проблема - очень много на сайте "технических" страниц, типа: https://starvell.com/users/17538 https://starvell.com/offers/12791 https://starvell.com/chat/01994256-a4bc-9836-7101-f8be85343cee https://starvell.com/order/0199abd3-1aa5-e26c-712c-9e7240454da3 Подобных технических страниц - несколько десятков тысяч, более полусотни, то есть, огромное количество. Я еще помню те времена, когда за подобное - поисковики жёстко банили сайты, с формулировкой "Сайт создаёт излишнюю нагрузку на сервера поисковой системы". Сейчас поисковики не банят сайт, но и траста сайту подобная проблема явно не добавляет. Удалить все эти страницы - нет возможности, сайт не сможет функционировать без них. ВОПРОС: есть ли какой то способ запретить поисковику СКАНИРОВАТЬ весь подобный "технический" мусор ? Запреты в текстовом роботсе, метароботсе, отдача 404 ответа - всё это не срабатывает, поисковый бот всё равно СКАНИРУЕТ весь этот массив страниц. Может с помощью директивы Clean-param как то можно запретить СКАНИРОВАНИЕ всех этих страниц? Может есть какой то другой способ?

P

10

Ponyk

15 февраля 2026, 09:00

#11

но и траста сайту подобная проблема явно не добавляет

Считаю то что и не убавляет.

https://chaturbate.com/in/?tour=grq0&campaign=l8msw&track=sex

108

Genius Ideaing

15 февраля 2026, 10:32

#12

alaev #:

User-agent: *

Disallow: /users/

Disallow: /offers/

Disallow: /chat/

увы, Disallow - только рекомендация. боты вправе их как учитывать, так и не учитывать...

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Заработок в $$$ на трафике сайта! Не РСЯ/AdSense: https://clck.ru/3REcmY / Есть Идеи! Ищу людей для совместного воплощения этих идей в Интернете! Мой Telegram: https://clck.ru/396JFF

2071

Vladimir SEO

15 февраля 2026, 11:20

#13

Директива эта не работает в Гугл ( клин парам)

Что бы не сканировал гугл бот - нужно удалить все ссылки в коде на эти страницы

от сканирования помогает только роботс тхт , но страницы могут попадать в индекс из-за трафика на них

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/

Google: расположение внутренних ссылок Google может индексировать заблокированные Апдейты Google могут влиять

1777

LEOnidUKG

15 февраля 2026, 13:22

#14

Ещё как вариант можно бахнуть canonical на главную страницу каждого раздела + выводить ссылки на эти мусорные страницы через JS, чтобы боты меньше их кушали.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/

Что делать, если ваша email-рассылка попала в спам

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов