- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Считаю то что и не убавляет.
User-agent: *
Disallow: /users/
Disallow: /offers/
Disallow: /chat/
увы, Disallow - только рекомендация. боты вправе их как учитывать, так и не учитывать...
Ещё как вариант можно бахнуть canonical на главную страницу каждого раздела + выводить ссылки на эти мусорные страницы через JS, чтобы боты меньше их кушали.
Ну и пусть сканирует, в чём проблема? Они же не попадают в поисковый индекс.
сейчас тоже за такие страницы яндекс вносит сайт под фильтры за "малополезный контент". такой мусор в роботс надо запрещать.
Ну так он хочет, чтобы робот их вообще не дёргал, как я понял.
Робот их будет в любом случае дёргать, даже если запретить во всех местах.
А если я не понял, то вообще проблема не является проблемой.
Да, скорее всего проблема не решаема на данный момент, с платонами устал уже переписываться, горбатого лепят двадцать писем подряд. Раньше, 10-15 лет назад было просто - прописал в роботсе запрет и всё, бот даже не пытался сканировать.
Думаю, проблема таки является проблемой: с тех пор как поисковики начали пытаться сканировать десятки тысяч этого мусора - рост сайта в обоих поисковых остановился. Совпадение ? Не думаю.
Можете попробовать на таких страницах прописать:
Но при этом надо их открыть в robots.txt чтобы робот увидел, что не надо ничего там сканировать и ходить там по ссылкам.
Убрать в 404 от роботов это не панацея т.к. они будут ходить по ссылкам и кричать, что у вас теперь много 404 ошибок, а это ещё хуже.
Будут. Тебе это простительно не знать, ты не сеошник, но вот сеошники тут местные - они то должны знать, что бот всё равно будет ходить в этом случае.
В гугле даже есть специальный пункт, который называется "проиндексировано несмотря на блокировку в файле robots.txt"
Вот расскажите, сеошники, как может робот не ходить на эти страницы, при этом индексировать их?
в роботсе я запретил, но яндекс-бот всё равно к ним обращается