- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Интересует как максимально скрыть ссылки на сайт от всех широкоизвестных и малоизвестных сервисов поиска беков на сайт типа: ahrefs.com, xtool.ru, xseo.in и прочих.
Находил темы типа этой - вопрос не решают, т.к. сервисов не один.
Кто заморачивался с такой проблемой? Как успехи?
Банить по юзерагентам, собирать и банить подсети ip.
Сделать на старницах невидимые для юзера ссылки. Если туда зашли - значит бот, логировать, потом из списка выбирать ненужных вам ботов и банить.
Филькин труд
Борьба с ветряными мельницами. Ну или вносить в базу данные всех посетителей не из браузеров, и потом уже смотреть кого закрывать а кого нет. Банить всех сразу я бы не стал.
еще погуглил
нашел эту ветку, там один из коллег говорит, что бота ahrefs.com можно заблокировать через robots.txt (это предлагает сам сервис).
может кто делал эффективную портянку ботов в robots.txt, которых нужно прикрыть?
портянку ботов в robots.txt, которых нужно прикрыть?
А зачем портянка?
Гуглу и Яндексу разрешить, а остальным закрыть.
Как то так:
User-agent: Googlebot
Disallow:
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
А зачем портянка?
Гуглу и Яндексу разрешить, а остальным закрыть.
Как то так:
User-agent: Googlebot
Disallow:
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /
А всякие яху, бинги и рамблеры с мейлами тоже трафик дают.
Опять же если персонально не блокировать, блокируя всех ботов, можно заблокировать что-то полезное, кроме перечисленных выше поисковиков (хотя, они, вроде все кроме яху, юзают поиск яндекса, но может у них тоже боты свои есть)
Я вот такую штуку юзаю:
RewriteRule .* - [F,L]
---------- Добавлено 26.09.2016 в 18:52 ----------
А всякие яху
Если только на англ сайт. Для ру трафа бесполезен.
Я вот такую штуку юзаю:
Пробовали себя проверять через эти сервисы? Трафику не навредили? Что делать с нашими (русскоязычными) сервисами (у них боты как-то называются)?
Conan Varvar, такая защита отлично работает.
Всякие hrefs нормально обрабатывают и учитывают robots.txt:
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
Часть ботов банится через .htaccess, как показано выше.
В интернетах на некоторых сайтах предлагается банить hrefs и через robots и через htaccess. Что является не всегда корректным действием. Т.к. тогда надо в htaccess делать исключения для файла robots.txt, иначе при доступе к нему у роботов так же будет отдаваться 403 ошибка.